LO ESENCIAL EN 30 SEGUNDOS
- Ai2 presenta ToyBlocks, publicado el 6 de noviembre, como el primero de sus «FoundationWorlds»: dominios simulados controlados con generación de tareas, demostraciones y métricas.
- El conjunto de datos inicial reúne 85.336 demostraciones largas, unas 1.600 horas de ejecución robótica y 144 millones de fotogramas, generados en Isaac Lab.
- Un planificador basado en Molmo 2 junto con una política ManiFlow tuvo éxito en 15 de 30 episodios reales con un Franka FR3; Ai2 señala que hacen falta más pruebas.
El Allen Institute for AI (Ai2) publicó el 6 de noviembre ToyBlocks, un marco de simulación abierto en el que un brazo robótico empuja, voltea, gira y apila bloques sobre una mesa. La idea es ofrecer un entorno controlado donde cambiar un solo factor cada vez (datos, planificación o control de bajo nivel) y ver cuál provoca el fallo de una política.
Un «FoundationWorld» por dominio
Ai2 describe ToyBlocks como el primero de una serie que denomina FoundationWorlds: entornos simulados para un dominio concreto de la robótica, cada uno con generación automática de tareas y demostraciones y con métricas que siguen el comportamiento del robot a lo largo del tiempo. Entre las tareas largas figura deletrear palabras de tres letras con bloques.
La primera versión incluye 85.336 demostraciones largas, lo que suma cerca de 1.600 horas de ejecución y 144 millones de fotogramas. Según Ai2, las habilidades se entrenan primero en Isaac Lab con aprendizaje por refuerzo y planificación de movimiento; después, un planificador de tareas y movimientos las ordena, ejecutando cientos de planes en paralelo en una sola GPU hasta 24 veces más rápido que el tiempo real. El código está en GitHub con licencia Apache 2.0; algunos submódulos tienen sus propias condiciones.
Dos modelos y pruebas con un robot real
Ai2 publicó además dos modelos. Un planificador ajustado a partir de Molmo2-4B, de unos 4.500 millones de parámetros según su ficha, elige la siguiente habilidad y el bloque objetivo a partir de una imagen de cámara. Una política basada en ManiFlow ejecuta luego la habilidad indicada.
En un brazo Franka FR3 con pinza Robotiq y 30 configuraciones de escena, las habilidades de ManiFlow lograron un 81,1 % de éxito, frente al 80,0 % en simulación. El conjunto de planificador y política acertó en 15 de 30 episodios reales, frente al 55,5 % en simulación; Ai2 advierte que se necesitan más pruebas para tener confianza estadística.
Primeros hallazgos y preguntas abiertas
El laboratorio afirma que las descripciones de habilidades redactadas por un agente elevaron el éxito en una tarea de búsqueda y deletreo del 24 % al 63 %, frente al 36 % con descripciones de expertos. En experimentos con modelos del mundo, añadir 100 trayectorias generadas subió el éxito de una política en una zona no vista del 19 % al 78 %.
Estos resultados proceden del blog de Ai2; la página de GitHub anuncia un informe técnico «próximamente», por lo que los métodos aún no están documentados en un artículo. La ficha del planificador indica además que parte de los datos de terceros usados en su modelo base está limitada a investigación no comercial.