Investigadores del MIT han presentado UQ-DAAAM, una memoria para robots que localiza las entradas dudosas y las corrige en marcha. En las pruebas resolvió el 92,3 % de los objetos marcados como inciertos. Le bastó un tope de dos descripciones adicionales por objeto.
Firman el trabajo Harry Zhang y Nicolas Gorlo, estudiantes de posgrado y coautores principales. Los acompaña Luca Carlone, profesor asociado de Aeronáutica y director del laboratorio SPARK. Según la nota del MIT del 5 de noviembre, lo presentarán en la conferencia NeurIPS.
La chimenea que parecía ardilla
Estos robots guardan lo que ven en un mapa tridimensional con descripciones de texto. Luego consultan ese mapa para responder preguntas. La base procede de DAAAM, la memoria en tiempo real que el mismo grupo creó antes con un modelo de visión y lenguaje, una IA que describe imágenes con palabras.
Cuando la cámara capta un objeto de lejos, a medias o con mala luz, la descripción puede salir mal. El MIT cita el caso de una chimenea gris que el sistema tomó por una ardilla posada en un tejado.
«Sin forma de corregirse, ese recuerdo erróneo persistiría mientras el robot avanza por su entorno», advierte Zhang. Los autores añaden en su artículo que los sistemas actuales tratan estas anotaciones «como un oráculo».
En la nota aparece también una emergencia hipotética con un asistente robótico y un desfibrilador de pared. Si la máquina lo guardó como extintor, quizá no sepa dónde encontrarlo.
Un número para medir dudas
Mientras avanza, un robot suele captar el mismo objeto desde varios ángulos. UQ-DAAAM calcula primero la confianza del modelo en las palabras que generó. Después compara esa descripción con las de otras imágenes del mismo objeto.
«Fusionamos ambas fuentes de incertidumbre en un único número», explica Carlone. Si esa cifra supera un umbral, el sistema busca más imágenes.
Una regla sencilla elige las que más pueden aclarar el caso. Podría ser un fotograma posterior en el que sale humo de la chimenea.
A continuación, un gran modelo de lenguaje funde las descripciones en una sola. Da más peso a las nuevas y a las menos ambiguas. Sus instrucciones le obligan a usar solo información presente en alguna descripción original.
13,5 imágenes por segundo
Los investigadores demostraron matemáticamente que esa regla encuentra los mejores fotogramas sin repetir el trabajo del modelo de visión. Carlone resume el reto como lograr «algo que funcione en una fracción de segundo en un robot en movimiento».
Según el artículo científico, el sistema procesó 98.866 fotogramas de siete secuencias grabadas. Trabajó a 13,5 imágenes por segundo con una sola tarjeta gráfica RTX 4090, por encima de las 10 que daban los sensores.
De sus 18.298 objetos anotados, UQ-DAAAM eligió 6.324 para repasarlos, un 34,6 %. Cada uno recibió de media 1,32 vistas extra.
Presentación del trabajo «Remember with Confidence» para NeurIPS 2026. Vídeo: MIT SPARK Lab
Del 71,1 % al 76,1 %
La prueba principal fue OC-NaVQA, un banco de preguntas sobre objetos, lugares y momentos. Sus recorridos llegan a 35,8 minutos y 1,64 kilómetros.
DAAAM acertó el 71,1 % de las preguntas descriptivas y su sucesor llegó al 76,1 %. Son 5 puntos, en línea con la mejora del 5 % que cita el MIT. El error medio de posición bajó de 41,75 a 37,84 metros.
Frente a la mejor alternativa probada, DAAAM-ES, la ventaja se queda en 1,8 puntos. Elegir las vistas al azar solo resolvió el 5,6 % de los casos inciertos, y hacerlo por calidad de imagen, el 34,2 %.
Manipuladores móviles, siguiente paso
Zhang, Gorlo y Carlone quieren llevar el sistema a otras máquinas, como los manipuladores móviles. También estudian que el robot regrese a las zonas donde más dudas acumula.
A más largo plazo, el MIT imagina este método en el hogar y en robots autónomos para la industria. Citan tareas como recoger una mesa o montar maquinaria junto a personas. La institución explora otras vías, como su robot con músculo vivo guiado por luz.
Para Carlone, en la IA física no basta con avisar de que la máquina puede fallar, como hace ChatGPT. «Permitir que un robot sepa lo que no sabe será esencial para que esta tecnología se despliegue de forma segura», sostiene.
Tres vistas pueden equivocarse igual
Según la nota, el 92 % se refiere a los objetos del entorno. El artículo, en cambio, lo calcula solo sobre los que el sistema marcó de entrada como inciertos.
Resolver significa aquí que la incertidumbre cayó por debajo del umbral, algo que no garantiza una descripción correcta. Los autores admiten que la coincidencia entre vistas no siempre implica acierto. Varias imágenes pueden respaldar el mismo error.
También reconocen que las consultas extra pueden salir caras en plataformas muy dinámicas. Guardar historiales de muchos objetos, añaden, puede aumentar el uso de memoria en recorridos largos.
Las pruebas usaron secuencias de un conjunto de datos, sin un robot trabajando en una casa o una fábrica. El texto de arXiv es una prepublicación. Parte de la financiación llegó del Laboratorio de Investigación del Ejército de Estados Unidos y de la Oficina de Investigación Naval.
La nota se ha publicado en MIT News y el estudio, en arXiv.
Crédito de la imagen: cortesía de los investigadores (MIT).
Powered by WPeMatico
Acerca del autor
