LO ESENCIAL EN 30 SEGUNDOS

  • LeRobot v0.7.0, publicada el 5 de noviembre, incorpora un modo interactivo en el que el operador envía instrucciones de texto, como subtareas o preguntas, a una política en marcha.
  • Los conjuntos de datos pueden leerse en streaming desde el Hub sin descarga local, y un nuevo servidor ejecuta el modelo en una GPU remota mientras el robot sigue en local.
  • El entrenamiento pasa a FSDP2 y Trackio, y el Hub aloja casi 300 TB de datos robóticos abiertos en formato LeRobot, según Hugging Face.

Hugging Face lanzó el 5 de noviembre la versión 0.7.0 de LeRobot, su biblioteca de código abierto para el aprendizaje robótico. La actualización da a los operadores control mediante lenguaje sobre políticas que ya se ejecutan en un robot y renueva la carga de datos, el entrenamiento y el despliegue de modelos grandes.

Hablar con una política en marcha

Un nuevo modo interactivo del comando lerobot-rollout mantiene cargados la conexión con el robot y los pesos del modelo entre una instrucción y otra. El operador puede escribir comandos para asignar una subtarea, hacer a la política una pregunta visual o ceder el control a un bucle de guiado automático. Un modelo de visión y lenguaje externo, servido mediante cualquier API compatible con OpenAI, puede actuar como planificador que responde preguntas y emite esas indicaciones.

Para entrenar este comportamiento, el equipo publicó FineART, un conjunto de datos elaborado con Scale AI que reúne más de 40.000 episodios bimanuales, 1.718 horas de grabación y más de 533.000 anotaciones de subtareas. Un modelo asociado, FineART-VLA, añade una cabeza de lenguaje a la política π0.5.

Cambios en datos, entrenamiento e inferencia

Ahora es posible leer conjuntos de datos en streaming desde el Hub descargando solo los fragmentos de vídeo que necesita cada entrenamiento; el blog indica entre 2,1 y 2,5 veces más muestras por segundo con cuatro procesos de carga.

En el entrenamiento, la antigua vía FSDP1 se sustituye por FSDP2, fragmentación híbrida y checkpoints distribuidos. Hugging Face afirma que, en un nodo de ocho GPU H200, la memoria máxima al reanudar un modelo de 6.000 millones de parámetros bajó de 143 GB a 42 GB por GPU. El registro de experimentos pasa de Weights & Biases a Trackio, lo que cambia algunas opciones de la línea de comandos. Un nuevo lerobot-policy-server ejecuta el modelo en una máquina con GPU remota mientras cámaras, motores y grabación permanecen en el robot; reemplaza al anterior módulo de inferencia asíncrona, que se eliminó.

Hardware, modelos y salvedades

Se añade compatibilidad con el brazo YAM de I2RT, individual o en configuración bimanual, con un brazo de Seeed Studio y con nuevas integraciones para el humanoide Unitree G1. La versión incorpora además varios modelos de terceros, entre ellos checkpoints de Cosmos 3 de NVIDIA. Según el blog, el Hub aloja ya casi 300 TB de datos abiertos de IA física en formato LeRobot.

La mayoría de las cifras de rendimiento proceden de pruebas de la propia Hugging Face. Algunos modelos integrados tienen licencias propias, al menos una de ellas no comercial, y las instalaciones en Linux requieren ahora controladores de NVIDIA recientes para las versiones con CUDA 13.