Alma, un agente de IA desarrollado por el desarrollador independiente yetone, ha captado la atención en el competitivo mundo de los benchmarks de código. En una instantánea del 11 de noviembre de FrontierHarness v1.1, una plataforma de evaluación de agentes de codificación de código abierto gestionada por la empresa de infraestructura de agentes Runta, Alma se posicionó en el tercer lugar. Sin embargo, esta métrica se tomó mientras la competencia aún estaba en curso y los resultados diarios fluctuaban.
Rendimiento y Eficiencia en FrontierHarness v1.1
Al 15 de noviembre, cuando se completó el tablero de FrontierHarness, Alma había escalado hasta el sexto puesto, demostrando una notable mejora en su tasa de aprobación. FrontierHarness evalúa 21 configuraciones de agentes, incluyendo Claude Code, Codex CLI y OpenCode, sobre cinco modelos abiertos y 62 tareas en diversas áreas como ingeniería de software, ciencia, datos, sistemas, aprendizaje automático y seguridad. Cada agente recibe cuatro intentos calificados por tarea con cada modelo, y solo se contabilizan los pases verificados.
Costos y Comparativas
Según la instantánea del 11 de noviembre, reportada por el medio tecnológico chino Zhixingxing, Alma ostentaba una tasa de éxito del 72.7%. Esto lo colocaba detrás de Codex CLI (77.9%) y Pi (72.8%), pero por delante de Claude Code (70.0%). En términos de costos, Alma promedió alrededor de $0.80 por tarea exitosa, un valor competitivo frente a los $0.94 de Claude Code.
En el tablero final, que registró 26,040 pruebas calificadas, Alma presentó una tasa de aprobación del 59.7%. Se ubicó detrás de ZCode (61.9%), Codex CLI (61.1%), KimiCode (60.2%), Grok Build (60.0%) y Hermes Agent (59.9%). Las tasas de aprobación de todos los 21 agentes se situaron entre el 50.6% y el 61.9%.
Capacidades Avanzadas de Alma
El ranking por defecto del tablero es el costo por pase. En esta métrica, Alma se ubicó en el puesto 13 con un costo de $1.22, comparado con los $0.937 de Codex CLI y los $1.55 de Claude Code. El mejor resultado de Alma fue del 64.1% cuando se emparejó con Kimi-K3.
Alma ofrece una gama de funcionalidades, incluyendo la lectura y edición de archivos, ejecución de comandos de terminal, búsqueda web y soporte para habilidades, MCP y múltiples modelos. Entre sus características destacadas se encuentran:
- Un Modelo de Herramienta separado para llamadas a herramientas, optimizando el uso del modelo principal para acciones sencillas.
- Memoria a largo plazo mediante búsqueda semántica basada en embeddings de conversaciones pasadas, reescribiendo consultas y filtrando resultados por similitud.
- Integración con herdr para visualizar sesiones de Claude Code, Codex y Pi como chats, organizados por estados como ‘Working’, ‘Done’ y ‘Needs You’.
- Aplicaciones para iPhone y Android (en beta pública) que permiten a los usuarios monitorear el progreso, responder preguntas y aprobar comandos de forma remota.
Para facilitar el acceso remoto, yetone ha lanzado Alma Relay de código abierto, desplegable en Cloudflare Workers o con Docker. Con cifrado de extremo a extremo activado por defecto, el relay solo procesa texto cifrado y no almacena datos en disco, según su documentación.
Fuente: Pandaily (China AI)
