La predicción de resultados científicos en el mundo real sigue siendo un desafío monumental para la inteligencia artificial. UniPat AI ha lanzado el benchmark Science Prediction Universe (SPU), una herramienta diseñada para poner a prueba la capacidad de los agentes de IA para anticipar el desenlace de experimentos de laboratorio antes de que se conozcan los resultados. La conclusión es contundente: ni siquiera los modelos más avanzados logran superar una puntuación promedio de 0.5 en una escala donde 1 representa una predicción perfecta y 0.5 el azar.
Desafío Científico para la IA
El SPU comprende 116 tareas que abarcan 4.207 experimentos de laboratorio en áreas como química, ciencia de materiales, biología y medicina. De estas, 100 tareas públicas provienen de 85 artículos publicados en prestigiosas revistas del Nature Portfolio entre enero de 2025 y agosto de 2026. Las 16 tareas privadas, por su parte, se basan en experimentos inéditos realizados con laboratorios asociados.
Cada tarea del SPU fija los candidatos, materiales, condiciones y métodos de medición de un experimento real. Los agentes de IA disponen de ocho horas en un entorno computacional limitado (8 CPU cores, 16 GiB de memoria y una GPU NVIDIA H20) para buscar en la web, instalar software científico y, finalmente, clasificar los candidatos según el resultado medido. La puntuación se realiza mediante correlación de Spearman, con medidas para evitar la identificación directa de las fuentes originales.
Resultados Desalentadores
En la primera ronda de pruebas, que incluyó 12 modelos de vanguardia en 13 configuraciones, el modelo Claude Opus 5.5 obtuvo la media más alta con 0.486, aunque muchas de sus ejecuciones terminaron en rechazos de seguridad y fue evaluado en menos tareas. En general, solo entre el 34% y el 52% de las tareas lograron superar el umbral del azar.
El análisis de UniPat AI sugiere que el principal cuello de botella no es el uso de herramientas, sino la capacidad de juicio de los modelos. Se observó que los agentes tendían a concordar entre sí mucho más de lo que lo hacían con la realidad experimental (0.52 vs. 0.33).
Costos y Rendimiento
Otros hallazgos interesantes incluyen el impacto del esfuerzo de razonamiento en GPT-6 Astra: aumentar el esfuerzo de medio a máximo multiplicó por 4.8 el tiempo de ejecución y por 5.3 el costo de la API, con un impacto mínimo en la puntuación. En un conjunto específico de electrolitos, las clasificaciones de conductividad iónica obtuvieron puntuaciones de 0.89 a 0.95, mientras que las de ventana electroquímica variaron entre -0.55 y 0.07. Las computaciones exitosas con GPU fueron escasas, representando menos de una quinta parte de las ejecuciones totales.
Los datos públicos del SPU están disponibles en Hugging Face bajo licencia CC BY 4.0, y el código en GitHub bajo licencia Apache 2.0. Este avance subraya la necesidad de seguir investigando para que la IA pueda realmente contribuir a la predicción y aceleración del descubrimiento científico.
Fuente: Pandaily (China AI)
