L'ESSENTIEL EN 30 SECONDES

  • Ai2 présente ToyBlocks, publié le 6 novembre, comme le premier de ses « FoundationWorlds » : des domaines simulés contrôlés, avec génération de tâches, démonstrations et métriques.
  • Le jeu de données initial compte 85 336 démonstrations longues, environ 1 600 heures d'exécution robotique et 144 millions d'images, générées sous Isaac Lab.
  • Un planificateur basé sur Molmo 2 associé à une politique ManiFlow a réussi 15 épisodes réels sur 30 avec un Franka FR3 ; Ai2 juge nécessaire de multiplier les essais.

L'Allen Institute for AI (Ai2) a publié le 6 novembre ToyBlocks, un cadre de simulation ouvert dans lequel un bras robotique pousse, retourne, fait pivoter et empile des cubes sur une table. L'idée est d'offrir un environnement maîtrisé où modifier un seul facteur à la fois (données, planification ou contrôle bas niveau) pour identifier ce qui fait échouer une politique.

Un « FoundationWorld » par domaine

Ai2 présente ToyBlocks comme le premier d'une série qu'il nomme FoundationWorlds : des environnements simulés propres à un domaine de la robotique, chacun fourni avec la génération automatique de tâches et de démonstrations ainsi que des métriques qui suivent le comportement du robot dans la durée. Parmi les tâches longues figure l'épellation de mots de trois lettres avec des cubes.

La première version contient 85 336 démonstrations longues, soit près de 1 600 heures d'exécution et 144 millions d'images. Selon Ai2, les compétences sont d'abord apprises sous Isaac Lab par apprentissage par renforcement et planification de mouvement, puis un planificateur de tâches et de mouvements les ordonne, en exécutant des centaines de plans en parallèle sur un seul GPU, jusqu'à 24 fois plus vite que le temps réel. Le code est publié sur GitHub sous licence Apache 2.0, certains sous-modules ayant leurs propres conditions.

Deux modèles et des tests sur robot réel

Ai2 publie aussi deux modèles. Un planificateur affiné à partir de Molmo2-4B, d'environ 4,5 milliards de paramètres selon sa fiche, choisit la prochaine compétence et le cube visé à partir d'une image de caméra. Une politique fondée sur ManiFlow exécute ensuite la compétence demandée.

Sur un bras Franka FR3 équipé d'une pince Robotiq, dans 30 configurations de scène, les compétences ManiFlow atteignent 81,1 % de réussite, contre 80,0 % en simulation. L'ensemble planificateur et politique réussit 15 épisodes réels sur 30, contre 55,5 % en simulation ; Ai2 précise qu'il faudra davantage d'essais pour une confiance statistique suffisante.

Premiers résultats et questions ouvertes

Le laboratoire indique que des descriptions de compétences rédigées par un agent ont fait passer la réussite d'une tâche de recherche et d'épellation de 24 % à 63 %, contre 36 % avec des descriptions d'experts. Dans les essais de modèles du monde, l'ajout de 100 trajectoires générées a porté la réussite d'une politique dans une zone inédite de 19 % à 78 %.

Ces chiffres proviennent du blog d'Ai2 ; la page GitHub annonce un rapport technique « à venir », et la méthode n'est donc pas encore décrite dans un article. La fiche du planificateur signale en outre que certaines données tierces ayant servi au modèle de base sont réservées à la recherche non commerciale.