L'ESSENTIEL EN 30 SECONDES

  • VFlash remplace le décodage jeton par jeton des plans visuels par un petit modèle brouillon qui prédit une trajectoire, des boîtes ou des points entiers en une seule passe parallèle.
  • Les auteurs annoncent un décodage de planification robotique environ 12 fois plus rapide sur Jetson AGX Thor et DGX Spark, et un pipeline complet ramené de 3 552,7 ms à 703,3 ms sur Thor.
  • Couplé à une politique dérivée de Cosmos-Predict2.5 sur le banc d'essai MolmoSpaces, le taux de réussite moyen passe de 62,6 % à 70,2 %, selon les tests de l'article.

Une équipe du groupe Learning and Perception Research de NVIDIA, avec Johns Hopkins, Purdue, l'Université polytechnique de Hong Kong et l'Université de Hong Kong, a publié VFlash, une méthode de décodage censée rendre les modèles vision-langage assez rapides pour planifier les mouvements d'un robot sur du matériel embarqué. L'article, intitulé « VFlash: Fast, Accurate Visual Planning via Flash Primitive Decoding », est sorti cette semaine avec une page de projet et du code dans le dépôt Eagle de NVIDIA.

Le principe

En robotique comme en conduite autonome, ces modèles décrivent souvent un plan sous forme de suites de nombres (points de passage, boîtes englobantes, profondeur) qu'ils génèrent jeton après jeton. Selon les auteurs, cette étape autorégressive représente 75 % à 87 % de la latence du modèle sur un module Jetson Thor. VFlash tire parti du fait que ces sorties ont un type et une longueur connus : un appel d'outil indique le nombre de coordonnées attendues, puis un brouillon léger de cinq couches de transformeur non causales les remplit toutes en une passe à partir du contexte encodé une seule fois par le modèle principal, qui reste figé. Contrairement au décodage spéculatif classique, ce brouillon n'a pas besoin de coïncider jeton par jeton avec le modèle principal ; les sous-tâches en texte libre sont, elles, proposées puis vérifiées.

Les résultats annoncés

Sur Jetson AGX Thor et DGX Spark, l'équipe fait état d'un décodage environ 12 fois plus rapide pour la planification robotique, et jusqu'à 42 à 49 fois pour certaines tâches de conduite. Sur Thor, un pipeline complet de manipulation passe de 3 552,7 millisecondes avec le décodage standard à 703,3 millisecondes, soit environ 5,1 fois moins. Les auteurs rapportent aussi une erreur de trajectoire plus faible : l'erreur moyenne de déplacement en 3D baisse de 42,6 % en moyenne sur trois jeux de données robotiques, et jusqu'à 61 % dans certaines configurations.

En manipulation simulée sur MolmoSpaces, les plans de VFlash alimentaient un modèle d'action fondé sur Cosmos-Predict2.5 de NVIDIA. Le taux de réussite moyen atteint 70,2 %, contre 62,6 % pour la politique de référence et 61,0 % avec des plans issus du décodage ordinaire. Sur NAVSIM, une variante entraînée par apprentissage par renforcement se situe au niveau des meilleurs systèmes listés.

Les limites

Ces chiffres viennent des auteurs et n'ont pas été reproduits de façon indépendante. Les résultats présentés reposent sur des bancs d'essai simulés et des jeux de données de conduite enregistrés, non sur des robots physiques déployés, et la latence a été mesurée avec un lot de taille un et des moteurs TensorRT personnalisés. La page renvoie vers le code, sans préciser si les poids entraînés sont disponibles. Interesting Engineering a couvert les travaux le 5 novembre.