L'ESSENTIEL EN 30 SECONDES

  • LeRobot v0.7.0, publiée le 5 novembre, introduit un mode interactif où l'opérateur envoie des consignes textuelles (sous-tâches, questions) à une politique en marche.
  • Les jeux de données peuvent être lus en streaming depuis le Hub sans téléchargement local, et un serveur exécute le modèle sur un GPU distant tandis que le robot reste en local.
  • L'entraînement passe à FSDP2 et à Trackio ; le Hub héberge près de 300 To de données robotiques ouvertes au format LeRobot, selon Hugging Face.

Hugging Face a publié le 5 novembre la version 0.7.0 de LeRobot, sa bibliothèque open source consacrée à l'apprentissage robotique. Cette mise à jour vise surtout à donner aux opérateurs un contrôle en langage naturel sur des politiques déjà en train de tourner sur un robot, tout en revoyant le chargement des données ainsi que l'entraînement et le déploiement des grands modèles.

Dialoguer avec une politique en marche

Un nouveau mode interactif de la commande lerobot-rollout garde la connexion au robot et les poids du modèle chargés entre deux instructions. L'opérateur peut taper des commandes pour attribuer une sous-tâche, poser une question visuelle à la politique ou confier la main à une boucle de pilotage automatique ; les sessions peuvent être enregistrées comme nouveaux épisodes. Un modèle vision-langage externe, accessible via n'importe quelle API compatible OpenAI, peut jouer le rôle de planificateur qui répond aux questions et formule ces consignes.

Pour entraîner ce type de comportement, l'équipe publie FineART, un jeu de données réalisé avec Scale AI : plus de 40 000 épisodes bimanuels, 1 718 heures d'enregistrement et plus de 533 000 annotations de sous-tâches. Un modèle associé, FineART-VLA, ajoute une tête de langage à la politique π0.5.

Données, entraînement et inférence

Les jeux de données peuvent désormais être lus en streaming depuis le Hub, en ne récupérant que les segments vidéo nécessaires ; le billet annonce un débit d'échantillons multiplié par 2,1 à 2,5 avec quatre processus de chargement.

Côté entraînement, l'ancien chemin FSDP1 cède la place à FSDP2, au sharding hybride et aux checkpoints distribués. Selon Hugging Face, sur un nœud de huit GPU H200, la mémoire maximale à la reprise d'un modèle de 6 milliards de paramètres passe de 143 Go à 42 Go par GPU. Le suivi des expériences quitte Weights & Biases pour Trackio, ce qui modifie certaines options de ligne de commande. Un nouveau lerobot-policy-server exécute le modèle sur une machine GPU distante, caméras, moteurs et enregistrement restant sur le robot ; il remplace l'ancien module d'inférence asynchrone, supprimé.

Matériel, modèles et réserves

La prise en charge matérielle s'étend au bras YAM d'I2RT, seul ou en configuration bimanuelle, à un bras de Seeed Studio et à de nouvelles intégrations pour l'humanoïde Unitree G1. Plusieurs modèles tiers sont ajoutés, dont des checkpoints Cosmos 3 de NVIDIA. D'après le billet, le Hub héberge près de 300 To de données d'IA physique ouvertes au format LeRobot.

La plupart des chiffres de performance proviennent des tests de Hugging Face. Certains modèles intégrés ont leur propre licence, dont au moins une non commerciale, et les installations Linux exigent désormais des pilotes NVIDIA récents pour les builds CUDA 13.