En un avance que podría cambiar cómo los robots interactúan con objetos en entornos reales, el laboratorio francés Kyutai —en colaboración con Inria y la École des Ponts— liberó REKI, un modelo visión-lenguaje-acción (VLA) de 2.400 millones de parámetros diseñado específicamente para manipulación robótica. Lo disruptivo no es solo su tamaño compacto, sino su arquitectura de memoria de bajo costo que resuelve uno de los problemas clásicos en robótica: la oscilación entre poses cuando el robot pierde contexto visual.
Arquitectura que prioriza la eficiencia
REKI se construye sobre un backbone Qwen3.5 de 2B, al que se le suma un experto en acciones de 200M parámetros. Este experto genera acciones mediante flow matching, integrado en solo 10 pasos de Euler. Pero el verdadero diferencial está en su sistema de memoria: en lugar de alimentar frames pasados al modelo completo —una estrategia costosa en cómputo—, REKI coloca 32 tokens de registro dentro del experto de acciones. Estos tokens realizan atención cruzada con el prompt y las vistas del frame actual, y auto-atención con los registros de frames anteriores.
La ventaja es doble: los registros nunca leen tokens de acción, por lo que dependen únicamente de observaciones (no del estado del robot o del tiempo de flujo), y se calculan una vez por frame para almacenarse en una ventana deslizante. Según la página del proyecto, el costo adicional es mínimo, pero el impacto en performance es significativo.
Memoria que corrige fallas críticas
En robótica, un problema frecuente es la aliasing perceptual: el robot oscila entre dos poses porque no retiene información contextual de movimientos previos. REKI ataca este punto directamente. En pruebas con RoboTwin, los episodios de oscilación cayeron del 18,6% al 4,1% al activar la memoria. Los investigadores atribuyen esta mejora a que el modelo ahora ‘recuerda’ lo que vio instantes antes, evitando decisiones contradictorias.
El modelo se preentrenó con una mezcla masiva de datos públicos:
- 639,8M frames de teleoperación con robots reales
- 193,9M frames de simulación
- 170,9M frames de video egocéntrico humano
- 12,2M muestras visión-lenguaje
Fuentes como DROID, BridgeData V2, AgiBot World, EgoDex y EgoVerse alimentaron el proceso, que corrió 200.000 pasos en 32 GPUs H100, manteniendo las convenciones de control nativas de cada dataset sin remapear acciones.
Resultados que compiten con modelos más grandes
En tres benchmarks fuera de distribución, REKI solo fue superado por modelos que duplican su tamaño. El preentrenamiento aportó mejoras sustanciales: +13,8 puntos en Clean2Rand y +30,3 bajo condiciones de desorden. La memoria agregó +1,5 puntos en LIBERO-Plus y +5,4 en RoboCasa365. Kyutai publicó seis checkpoints: la base preentrenada y versiones fine-tuneadas para LIBERO, RoboTwin (dos variantes), RoboCasa365 y RoboCasa-GR1.
Para despliegue en robots reales, REKI usa el protocolo gRPC de inferencia asíncrona de LeRobot. En pruebas con un brazo UR5, el modelo se fine-tuneó en solo 3.000 pasos (una hora) con 50 demostraciones por tarea, demostrando una adaptabilidad rápida que lo hace viable para aplicaciones industriales y domésticas.