¿Tu robot doméstico buscaría un libro por toda la casa después de haberlo visto en la mesa del living? ¿Intentaría abrir un cajón que ya sabe que está trabado? Estas fallas de memoria, comunes en la inteligencia artificial embebida, son ahora el centro de un riguroso examen creado en China. El grupo OmniAI de la Universidad de Zhejiang lanzó EmbodiedMemory-Bench (EMem-Bench), un benchmark diseñado para probar si los agentes de IA con cuerpo pueden construir memoria a partir de largas historias de interacción y, lo más crucial, actuar en base a ese recuerdo.
De la anécdota al dato duro: clasificando los olvidos de la IA
El problema no es nuevo para quienes desarrollan robots de servicio. La investigación partió de analizar 100 trayectorias fallidas de modelos como Gemini-3-Flash y Qwen3-VL-32B en entornos simulados. Los resultados cuantificaron los puntos ciegos:
- 35% de los fracasos se debieron a la incapacidad de detectar pistas visuales detalladas.
- 31%, por no registrar los estados revelados durante la interacción.
- 18%, por pasar por alto cambios en el entorno.
- 7%, por no reutilizar experiencias pasadas.
EMem-Bench transforma estas brechas en cuatro familias de tareas concretas: Observación Pasiva, Seguimiento Dinámico, Fracaso en la Interacción y Generalización de la Experiencia. Su conjunto de 2,554 episodios ejecutables somete al agente a una historia multimodal ordenada en el tiempo, seguida de una nueva tarea donde debe recuperar la evidencia relevante y actuar en una simulación.
El ranking de la memoria y una solución innovadora
En las pruebas de contexto completo, Gemini-3-Flash lideró con una tasa de éxito promedio del 64.2%, seguido por Gemini-2.5-Pro (60.8%), Qwen3.6-27B (58.2%) y GPT-5.4 (56.8%). El estudio destaca que todos los modelos de código abierto, excepto uno, obtuvieron puntajes por debajo del 45%. Frente a este panorama, el equipo no solo midió, sino que también construyó una solución: Embodied-Memorizer (EMem), un sistema de memoria externa que divide la experiencia en recuerdos de escena, espaciales y de eventos.
Utilizando GPT-5.4-mini como base, EMem logró elevar el éxito promedio del 35.3% al 58.9%, superando por 21.1 puntos al siguiente mejor sistema de memoria, TeleMem. Además, una política afinada de 8B parámetros, bautizada EMem-8B, alcanzó un 46.0%, superando por 20.6 puntos a su modelo base Qwen3-VL-8B. Un hallazgo contraintuitivo fue que simplemente alimentar al modelo con más imágenes históricas no ayudó, sino que redujo el éxito y aumentó masivamente los tokens de entrada.
Los autores son cautelosos y aclaran que todos estos resultados provienen de simulaciones. El próximo gran desafío será probar estos sistemas en robots reales, donde el ruido de los sensores y los errores de ejecución añaden una capa extra de complejidad. Mientras tanto, EMem-Bench se erige como una nueva vara para medir una capacidad fundamental para la convivencia entre humanos y máquinas: recordar para no repetir los mismos errores.
Fuente: Pandaily (China AI)