UQ-DAAAM, del MIT, permite a los robots detectar y corregir recuerdos inciertos de objetos

Un robot que cartografía un edificio puede registrar un desfibrilador de pared como si fuera un extintor y luego no encontrarlo cuando hace falta. Investigadores del MIT aseguran haber dado con una forma de que los robots detecten esos recuerdos dudosos y los corrijan. Su sistema, UQ-DAAAM, fue descrito por MIT News el 5 de noviembre y es objeto de un artículo que se presentará en la conferencia NeurIPS.

Cómo funciona el sistema

UQ-DAAAM amplía DAAAM, un sistema anterior del mismo grupo que utiliza un modelo de visión y lenguaje para redactar descripciones de los objetos situados en un mapa 3D. Las vistas parciales, la distancia, el desenfoque por movimiento o la mala iluminación pueden generar descripciones erróneas, y la versión original no tenía forma de revisarlas.

La nueva versión calcula una puntuación de incertidumbre para cada objeto. Según el artículo, combina dos señales: la confianza del modelo en las palabras que genera y la coherencia entre las descripciones de un mismo objeto visto desde ángulos distintos. Si la puntuación rebasa un umbral, el sistema selecciona unos pocos fotogramas adicionales que probablemente reduzcan la duda, mediante una heurística de calidad de vista. Después, un modelo de lenguaje grande fusiona las descripciones en una sola, dando prioridad a las más recientes y nítidas pero conservando las alternativas no resueltas. Los autores afirman haber demostrado que esa selección puede hacerse sin volver a ejecutar el modelo de visión y lenguaje, lo que mantiene un coste asumible para un robot en movimiento.

Resultados comunicados

Con un presupuesto de dos descripciones extra por objeto, el método resolvió la incertidumbre del 92,3 % de los objetos señalados en las pruebas del artículo, frente al 34,2 % del refinamiento basado solo en la calidad de la vista y el 5,6 % de la elección aleatoria. En una prueba de preguntas sobre qué son los objetos, dónde están y cuándo se vieron por última vez, la precisión subió a 0,761, frente a 0,711 del DAAAM original. El MIT lo presenta como una mejora del 5 % en la precisión de las descripciones respecto al estado del arte.

Límites y próximos pasos

Las cifras proceden de los propios experimentos de los autores con datos robóticos grabados y no se han replicado de forma independiente. Aproximadamente uno de cada trece objetos señalados quedó sin resolver, y las garantías del artículo son probabilísticas: se basan en el supuesto de que las mejores vistas tienden a reducir la incertidumbre. El equipo, dirigido por el profesor asociado Luca Carlone junto a los estudiantes de posgrado Harry Zhang y Nicolas Gorlo, prevé extender el trabajo a manipuladores móviles.