Avec UQ-DAAAM, le MIT permet aux robots de repérer et corriger leurs souvenirs d'objets incertains

Un robot qui cartographie un bâtiment peut enregistrer un défibrillateur mural comme un extincteur, puis ne pas le retrouver le jour où il en a besoin. Des chercheurs du MIT affirment avoir trouvé un moyen pour que les robots détectent ces souvenirs douteux et les rectifient. Leur système, UQ-DAAAM, a été présenté par MIT News le 5 novembre et fait l'objet d'un article qui sera présenté à la conférence NeurIPS.

Comment fonctionne le système

UQ-DAAAM prolonge DAAAM, un système antérieur du même groupe qui s'appuie sur un modèle vision-langage pour rédiger des légendes décrivant les objets placés dans une carte 3D. Vues partielles, distance, flou de mouvement ou mauvais éclairage peuvent produire des descriptions erronées, et la version d'origine n'avait aucun moyen d'y revenir.

La nouvelle version calcule un score d'incertitude pour chaque objet. Selon l'article, ce score combine deux signaux : la confiance du modèle dans les mots qu'il a générés et la cohérence des légendes d'un même objet observé sous différents angles. Si le score dépasse un seuil, le système choisit un petit nombre d'images supplémentaires susceptibles de dissiper le doute, grâce à une heuristique de qualité de vue. Un grand modèle de langage fusionne ensuite les légendes en une description unique, en privilégiant les plus récentes et les plus nettes, tout en conservant les hypothèses non tranchées. Les auteurs disent avoir démontré que cette sélection d'images peut se faire sans relancer le modèle vision-langage, ce qui maintient un coût compatible avec un robot en mouvement.

Les résultats annoncés

Avec un budget de deux légendes supplémentaires par objet, la méthode a levé l'incertitude pour 92,3 % des objets signalés lors des tests de l'article, contre 34,2 % pour un simple affinage fondé sur la qualité des vues et 5,6 % pour un choix aléatoire. Sur un banc d'essai de questions portant sur la nature des objets, leur position et le moment où ils ont été vus pour la dernière fois, la précision atteint 0,761, contre 0,711 pour DAAAM. Le MIT parle d'un gain de 5 % de précision des descriptions par rapport à l'état de l'art.

Limites et suites

Ces chiffres proviennent des expériences des auteurs sur des données robotiques enregistrées et n'ont pas été reproduits de manière indépendante. Environ un objet signalé sur treize reste non résolu, et les garanties de l'article sont probabilistes : elles reposent sur l'hypothèse que de meilleures vues tendent à réduire l'incertitude. L'équipe, dirigée par le professeur associé Luca Carlone avec les étudiants de cycle supérieur Harry Zhang et Nicolas Gorlo, compte étendre ces travaux aux manipulateurs mobiles.