La ciencias de la computación teórica tiene nuevo examen y lo firmaron dos pesos pesados: Andrew Chi-Chih Yao, ganador del Premio Turing, y Yang Zhilin, fundador de Moonshot AI. Según informó Leiphone, se trata del primer paper que ambos co-firman. El trabajo, publicado en arXiv el 5 de noviembre, también lleva los nombres de Yifan Luo, Zhengying Liu y Yang Yuan, y presenta TCSExam, un benchmark que no mide si un modelo resuelve ejercicios de libro de texto, sino si puede hacer investigación de verdad.
Un benchmark con reglas duras: nada de escribir bonito
TCSExam reúne 100 tareas revisadas por expertos, organizadas en cuatro pistas:
- Demostración de teoremas: 20 tareas en 13 áreas, cada una exige una prueba en Lean 4.
- Ingeniería de solvers: 30 tareas que requieren programas reproducibles.
- Construcciones: 20 tareas, como grafos o códigos que deben cumplir restricciones estrictas.
- Conjeturas abiertas: 30 tareas donde el modelo puede atacar probándolas o encontrando contraejemplos.
La clave está en la verificación: cada entrega es chequeada por el kernel de Lean o por un verificador ejecutable, así que un texto convincente por sí solo no alcanza. Un sistema de checkpoints acredita el progreso parcial en pruebas largas, pero el teorema principal sólo se acepta cuando se eliminan los supuestos intermedios sin demostrar. Las tareas de demostración corren bajo tres niveles de guía, y más de 40 teoremas candidatos fueron descartados porque los modelos los resolvieron durante las pruebas. Para abaratar costos, existe una versión Lite de 20 tareas que reduce el gasto de evaluación en un 80%.
El golpe de efecto: Kimi K3 supera un récord de grafos
La construcción más comentada del estreno salió del laboratorio de Moonshot. Kimi K3 construyó un grafo de 124 vértices, sin triángulos y sin ciclos de longitud cuatro, con 630 aristas: una más que el récord de referencia previo de 629. El resultado fue verificado por programa, no por consenso de redacción.
En las pruebas de teoremas, Kimi K3 completó al menos 3, 4 y 7 teoremas bajo los tres niveles de guía, contra 0, 2 y 6 de DeepSeek V4.1 Flash. La comparación directa entre los dos gigantes orientales deja a Kimi adelante en este terreno específico, aunque el mapa general es más parejo.
Occidente también juega: GPT-6 Astra y Opus 5.5 lideran el índice
En el índice combinado TCSExam, GPT-6 Astra de OpenAI lidera el benchmark completo con 71.9, mientras que Opus 5.5 de Anthropic encabeza la versión Lite con 72.3. Astra demostró 14 de los 20 teoremas de nivel investigador y extendió un caso especial conocido de la conjetura de Alon-Jaeger-Tarsi de ocho a nueve dimensiones.
Los límites, según los propios autores
Los autores son explícitos sobre lo que TCSExam no demuestra. La conjetura completa de Alon-Jaeger-Tarsi sigue abierta, y 28 de las 30 conjeturas abiertas no recibieron ninguna solución completa. Algunas refutaciones aceptadas fueron adaptadas de resultados ya publicados. Encontrar lemas clave y planificar pruebas largas siguen siendo tareas difíciles para los modelos actuales.
Las fuentes de las tareas, las recetas de build de Docker y las herramientas de evaluación están disponibles en el GitHub de Moonshot AI bajo licencia Apache-2.0, lo que habilita la reproducción independiente de los resultados.
Fuentes: informe de Leiphone, paper de TCSExam en arXiv y repositorio oficial en GitHub.
Fuente: Pandaily (China AI)
