MERCADOS:
BTC $81,317 ▲ +4.29%
ETH $2,529 ▲ +5.04%
SOL $184 ▲ +3.57%
IA STATUS Online RELOJ --:--:-- ART
🗓️ Congresos y Eventos

Meta FAIR enseña a sus modelos de IA a escribir su propia memoria y les gana a los humanos

Edge0 desata Audio8-TTS-Realistic: clona cualquier voz con 600 millones de parámetros

Investigadores de Meta FAIR, junto con equipos de la Universidad de Washington y Johns Hopkins University, presentaron Self-Improving Memory, un método que permite a un agente de IA gestionar su propia memoria basada en archivos y, lo más disruptivo, redactar las instrucciones para hacerlo mejor que los humanos. El sistema alcanzó un promedio de 56.0 puntos en tres tareas del Continual Learning Bench, frente a 44.6 de los mejores prompts escritos a mano.

Qué hace exactamente Self-Improving Memory

El agente trabaja sobre un flujo de subtareas. Cada subtarea arranca con contexto vacío; solo un directorio de memoria persistente, editable con herramientas de archivos, viaja de una subtarea a la siguiente. Dos prompts controlan ese mecanismo: OFFLOAD actualiza la memoria tras cada subtarea y LOAD recupera las notas antes de la siguiente. con versiones genéricas que dejan la estrategia librada al modelo.

La novedad central es que ningún prompt humano único gana en todas las tareas. según un estudio piloto del propio paper. Entonces, en lugar de escribir un prompt a mano, Meta FAIR deja que un meta-agente descubra y reescriba los prompts de LOAD y OFFLOAD. La búsqueda arranca desde cuatro semillas humanas (Summary, Retrieval, Skill, Hypothesis), cada candidata corre el flujo completo cinco veces y las cuatro mejores por promedio se convierten en padres para revisión.

De la optimización a la destilación en pesos

El método funciona en dos etapas. La primera es descubrimiento: el meta-agente lee trayectorias, puntajes y directorios de memoria finales, y propone prompts revisados. La selección usa un conjunto de validación que el meta-agente no puede ver. Los prompts descubiertos son concretos: uno para Database indica leer primero GUARDRAILS.md y luego SCHEMA.md antes de responder; el mejor diseño para Codebase usa un archivo quickstart, un registro de fixes indexado y archivos de fix separados.

La segunda etapa es destilación, con un pipeline Descubrir-Demostrar-Destilar. El agente de tareas corre subtareas de entrenamiento con los prompts optimizados y se registra cada llamada al modelo. luego el equipo intercambia los prompts optimizados por los genéricos en ese historial. El modelo se ajusta con LoRA de rango 64 sobre las capas de proyección de atención; la pérdida cubre solo tokens del asistente, incluyendo razonamiento y llamadas a herramientas, con peso igual por tarea. Como el meta-agente y el agente de tareas son el mismo modelo Kimi-K2.6, el modelo se entrena con habilidades de memoria que descubrió por sí mismo.

Los números del benchmark

Las pruebas usan tres tareas del Continual Learning Bench: Database (SQL), Codebase (fixes de repos) y Spectrum (escaneos de radio). Los resultados muestran una mejora generalizada:

  • Sin memoria: 7.5 / 31.8 / 21.9 — promedio 0.4
  • Compaction: 39.8 / 36.9 / 34.6 — promedio 37.1
  • Harness genérico: 32.3 / 33.5 / 42.5 — promedio 36.1
  • Mejor prompt humano: 47.9 / 43.7 / 42.1 — promedio 44.6
  • Harness optimizado: 53.8 / 64.3 / 49.9 — promedio 56.0
  • SFT sobre trayectorias genéricas: 31.6 / 37.5 / 43.6 — promedio 37.6
  • SFT sobre trayectorias optimizadas (prompts genéricos): 37.7 / 45.1 / 46.5 — promedio 43.1

El salto más grande aparece en Codebase: 64.3, con +20.6 puntos sobre el mejor prompt humano. La búsqueda fue ruidosa: 37 de 44 revisiones generadas por el meta-agente no lograron superar al anterior mejor. Database y Spectrum picaron en la primera generación; Codebase siguió mejorando hasta la generación 4. Tras la destilación, el modelo destilado promedia 43.1 sobre 10 semillas, contra 37.6 del SFT sobre trayectorias genéricas: una ganancia de 5.5 puntos, o 14.6%.

Limitaciones y comparación con alternativas

El hardware de entrenamiento no fue divulgado, pero servir Kimi-K2.6 en producción requiere un nodo multi-GPU; Vast.ai recomienda 8x H200. y existen pesos INT4 nativos. lo que limita su adopción a equipos con infraestructura considerable. un punto relevante para desarrolladores que evalúen despliegues.

La comparación con métodos recientes muestra diferencias de enfoque. según la tabla del paper:

  • ALMA (FAIR, UW, JHU): busca prompts de memoria, destila en pesos. Modelo: Kimi-K2.6.
  • MemEvolve (Xiong, Hu, Clune): busca diseños de memoria como código Python. Modelo: GPT-5-mini.
  • Harness-Zero (OPPO, LV-NUS, Peking, Google, HKUST): busca el harness completo del agente, entrena pesos con LoRA SFT. Usa un agente separado para corregir al estudiante, paso que Self-Improving Memory omite.

Los benchmarks difieren entre métodos, así que los titulares no son directamente comparables, pero Harness-Zero es el match más cercano. La principal diferencia arquitectónica es que Self-Improving Memory prescinde del agente corrector externo y entrena al modelo sobre sus propios descubrimientos. simplificando el pipeline.

Conclusión para desarrolladores

El paper confirma que un modelo de 1T de parámetros (32B activos, contexto de 256K) puede auto-descubrir estrategias de memoria que superan a las humanas en tareas de razonamiento continuo, y que la destilación con LoRA preserva parte de esa ganancia incluso cuando se ejecutan prompts genéricos. aunque no todo: el método Spectrum solo sumó 2.9 puntos con destilación. El código no fue liberado, lo que reduce la reproducibilidad independiente, pero el paper, el hilo de X y el benchmark están disponibles para consulta.

Fuente: MarkTechPost (Open Source, GitHub & Agentes)

MP

Sobre Valeria Rossi

Cronista de Congresos, Webinars & Comunidad

Especialista en herramientas de IA aplicada, automatización de flujos de trabajo, prompting y productividad empresarial para Tecno Saberes.

🚀 Potenciá tu criterio digital y habilidades en IA

Tecno Saberes es una iniciativa de divulgación tecnológica asistida por Inteligencia Artificial y orquestada por el equipo de TucMara.com.

←
→