En el vertiginoso mundo de la Inteligencia Artificial, donde los Large Language Models (LLMs) como GPT-5.5 o Gemini 3.1 Pro nos sorprenden a diario, surge una pregunta fascinante: ¿podrían estas inteligencias artificiales diseñar y optimizar sus propias ‘cajas de herramientas’ de ejecución? Un equipo de investigadores de ByteDance Seed, junto con colaboradores de la Universidad Tecnológica de Singapur, el Instituto de Tecnología de Georgia y otras instituciones, ha puesto a prueba esta idea con HarnessDev. La conclusión, si bien prometedora en su concepción, revela las limitaciones actuales de la IA en tareas de autogestión y optimización profunda.
HarnessDev: El LLM que se evalúa a sí mismo
Tradicionalmente, cuando evaluamos un LLM, nos centramos en la calidad de las respuestas que produce. Sin embargo, HarnessDev invierte la lógica: el foco está en el ‘harness’, es decir, todo el código que rodea al modelo: el bucle de ejecución, las herramientas disponibles, la gestión del contexto, el estado, la recuperación de errores y la verificación. Básicamente, es el entorno de trabajo que el propio LLM debe construir. El sistema se divide en dos fases: ‘Creación’, donde el LLM recibe un conjunto básico de primitivas y debe construir un harness funcional para tareas específicas, y ‘Evolución’, donde el LLM intenta mejorar su propio harness basándose en el feedback de miles de tareas de prueba.
Resultados agridulces: Avances y callejones sin salida
Los resultados son, cuanto menos, interesantes. Modelos de la talla de Opus 4.8 y GPT-5.5 fueron puestos a prueba. En la fase de creación, Opus 4.8 demostró un rendimiento notable en tareas de escritura y experimentación de Machine Learning, incluso superando las referencias humanas en algunos casos. Sin embargo, en tareas de codificación y búsqueda, la brecha con las soluciones diseñadas por humanos se mantuvo significativa. Lo más llamativo es que el volumen de código generado no se correlacionó directamente con la calidad del harness, y una parte considerable del código (especialmente el relacionado con el manejo de estado y memoria) resultó ser ‘código muerto’, es decir, nunca se ejecutó en la práctica.
La evolución: Un camino ruidoso y poco predecible
La fase de ‘Evolución’ es donde las expectativas chocan con la realidad. Si bien algunos LLMs mostraron mejoras en tareas no vistas previamente, el progreso no fue lineal ni predecible. De las 64 ‘modificaciones’ o cambios realizados por los LLMs en sus harnesses, solo 34 apuntaron en la misma dirección en las tareas de evaluación, y solo dos de las versiones finales declaradas fueron realmente óptimas según los criterios de las tareas ocultas. Esto subraya la dificultad que tienen los LLMs actuales para generalizar sus mejoras y la fragilidad de los cambios introducidos. Además, la dependencia del ‘executor’ (la herramienta que ejecuta el código) demostró ser crucial, con caídas drásticas en el rendimiento al cambiar de un executor a otro, evidenciando que muchos harnesses están fuertemente acoplados a su entorno original.
En resumen, HarnessDev nos muestra que, si bien los LLMs son cada vez más capaces de generar código y entornos complejos, la ingeniería autónoma de sus propias herramientas de trabajo aún está en pañales. La capacidad de autoevaluación y optimización profunda, especialmente en dominios críticos como la codificación, requiere avances significativos. La IA puede construir, pero la maestría en la autoconstrucción y la generalización de mejoras sigue siendo un desafío formidable.