Los benchmarks son la vara con la que medimos la inteligencia de los modelos de lenguaje. Pero ¿qué pasa cuando la vara está rota? Un equipo de investigadores acaba de publicar en arXiv una auditoría sistemática de dos datasets de referencia en traducción de lenguaje natural a lógica de primer orden (NL-to-FOL), FOLIO y MALLS, y los resultados son alarmantes: aproximadamente el 42,5% y el 42% de las entradas auditadas contienen formalizaciones lógicas incorrectas, es decir, sus etiquetas de "verdad" simplemente estaban mal.
Datos sucios, métricas distorsionadas
El problema no termina ahí. La inspección manual también detectó un alto porcentaje de oraciones ambiguas en lenguaje natural (17,8% en FOLIO y 51% en MALLS) y un 8,4% de etiquetas incorrectas en tareas de inferencia de lenguaje natural (NLI) dentro de FOLIO. Para dimensionar el impacto: al evaluar tres modelos de vanguardia —Gemma 4 31B-it, Qwen3-30B-A3B y GPT-4o-mini— contra las etiquetas corregidas, la accuracy medida subió entre +11 y +23 puntos porcentuales. En criollo: los modelos eran mucho mejores de lo que las métricas originales sugerían, porque el termómetro estaba mal calibrado.
Esto es un golpe duro para la IA neurosimbólica y los sistemas que combinan redes neuronales con razonamiento lógico formal, que dependen de estos datasets como cimiento. Un ground truth contaminado no solo castiga injustamente a los modelos, sino que puede haber orientado décadas de investigación hacia conclusiones equivocadas.
La solución: IA para auditar a la IA
La segunda parte del trabajo es la más interesante para quien trabaja con LLMs: los investigadores desarrollaron y liberaron un framework asistido por modelos de lenguaje que prioriza las instancias más propensas a contener errores, dirigiendo la atención de los revisores humanos hacia donde realmente importa. El resultado es contundente: alcanzando un 90% de precisión en el dataset revisando menos del 20% de las instancias, frente al 76% que exige una revisión sin guía.
Implicancias para el ecosistema
La lección es clara: antes de confiar ciegamente en un leaderboard, conviene preguntarse quién verificó las etiquetas. Para equipos que construyen datasets propios, el framework publicado es un ejemplo práctico de cómo combinar revisión humana con LLMs para escalar la calidad sin multiplicar costos. Un tip directo: cuando evalúen modelos en tareas de razonamiento lógico, exploren primero la calidad del benchmark; el gap entre métrica y realidad puede ser enorme.
Todas las anotaciones verificadas por humanos y el código del framework fueron liberados públicamente, una decisión que podría impulsar una ola de re-auditorías en otros benchmarks fundamentales. Porque si FOLIO y MALLS escondían un 42% de errores, ¿cuántos otros datasets están contaminados sin que lo sepamos?