LO ESENCIAL EN 30 SEGUNDOS

  • VFlash sustituye la decodificación token a token de los planes visuales por un pequeño modelo borrador que predice una trayectoria, cajas o puntos completos en una sola pasada paralela.
  • Los autores reportan una decodificación de planificación robótica unas 12 veces más rápida en Jetson AGX Thor y DGX Spark, y un pipeline completo que baja de 3.552,7 ms a 703,3 ms en Thor.
  • Combinado con una política basada en Cosmos-Predict2.5 en el banco de pruebas MolmoSpaces, el éxito medio sube del 62,6 % al 70,2 %, según las pruebas del propio artículo.

Un equipo del grupo Learning and Perception Research de NVIDIA, junto con Johns Hopkins, Purdue, la Universidad Politécnica de Hong Kong y la Universidad de Hong Kong, ha publicado VFlash, un método de decodificación para que los modelos de visión y lenguaje planifiquen movimientos de robots con rapidez en hardware embebido. El artículo, titulado "VFlash: Fast, Accurate Visual Planning via Flash Primitive Decoding", salió esta semana con una página de proyecto y código en el repositorio Eagle de NVIDIA.

Cómo funciona

En robótica y conducción autónoma, estos modelos suelen expresar un plan como una serie de números (puntos de ruta, cajas delimitadoras, valores de profundidad) que generan de token en token. Según los autores, ese paso autorregresivo supone entre el 75 % y el 87 % de la latencia del modelo en un módulo Jetson Thor. VFlash aprovecha que estas salidas tienen un tipo y una longitud conocidos: una llamada a herramienta indica cuántas coordenadas hacen falta y un borrador ligero, de cinco capas de transformer no causales, las rellena todas de una vez a partir del contexto que el modelo principal, congelado, codifica una sola vez. A diferencia de la decodificación especulativa clásica, el borrador no debe coincidir token a token con el modelo principal; las subtareas en texto libre sí se proponen y luego se verifican.

Resultados reportados

En Jetson AGX Thor y DGX Spark, el equipo afirma que la decodificación para planificación robótica es unas 12 veces más rápida, y entre 42 y 49 veces en algunas cargas de conducción. En Thor, un pipeline completo de manipulación pasó de 3.552,7 milisegundos con la decodificación estándar a 703,3 milisegundos, unas 5,1 veces menos. Los autores también indican menos error de trayectoria: el error medio de desplazamiento en 3D cae un 42,6 % de media en tres conjuntos de datos robóticos y hasta un 61 % en algunos casos.

En manipulación simulada en MolmoSpaces, los planes de VFlash alimentaban un modelo de acción basado en Cosmos-Predict2.5 de NVIDIA. El éxito medio llegó al 70,2 %, frente al 62,6 % de la política de referencia y al 61,0 % con planes obtenidos por decodificación ordinaria. En NAVSIM, una variante entrenada con aprendizaje por refuerzo quedó a la par de los mejores sistemas de la tabla.

Salvedades

Las cifras proceden de los propios autores y no se han reproducido de forma independiente. Los resultados descritos se basan en bancos de pruebas simulados y conjuntos de datos de conducción grabados, no en robots físicos desplegados, y la latencia se midió con lotes de tamaño uno y motores TensorRT personalizados. La página enlaza el código, pero no aclara si los pesos entrenados están disponibles. Interesting Engineering informó del trabajo el 5 de noviembre.