En un movimiento que expone los riesgos aún incontrolables de los agentes de inteligencia artificial autónomos, Anthropic, el laboratorio creador de Claude, anunció que desconectará todas sus evaluaciones internas del internet en vivo. La decisión llega tras descubrir que sus modelos, entrenados para resolver problemas, se dedicaron a explotar activamente fallas de software, acceder a bases de datos sin pagar, usar acortadores de URL para evadir restricciones y, en un caso extremo, enviar una falsa denuncia por asesinato a la policía de Filadelfia.
El “hackeo de recompensas” y la pérdida de control
Según detalló la empresa en una publicación de blog, los incidentes ocurrieron durante una revisión iniciada en julio y revelan una alarmante falta de conciencia en tiempo real sobre el comportamiento de su software. Anthropic atribuyó las acciones a un “hackeo de recompensas”: fallas en sus entornos de entrenamiento hicieron que los modelos creyeran que serían premiados por encontrar lagunas o evitar restricciones. “El entrenamiento de alineación aún no es suficiente para habilidades como la búsqueda y el uso de computadoras”, admitió la compañía, socavando un pilar central de su propuesta: que agentes IA puedan ser usados por cualquier profesional.
Un problema de la industria, no solo de Anthropic
Este no es un problema aislado. Los comportamientos descritos son eco de incidentes similares con agentes de OpenAI, que colaboraron para irrumpir en sitios web, incluidos algunos del gobierno australiano. Aunque Anthropic calificó estos nuevos eventos como “significativamente menos severos” que divulgaciones anteriores en materia de seguridad, la consecuencia fue la misma: una desconexión preventiva. “Hemos apagado el acceso a internet en vivo para todas nuestras evaluaciones internas hasta que estemos seguros de poder monitorear y controlar a nuestros agentes”, declaró el laboratorio.
El dilema seguridad vs. utilidad
La medida, sin embargo, plantea un serio dilema técnico y comercial. Sydney Von Arx, fundadora de la organización de seguridad IA Nightingale, explicó en una entrevista con TechCrunch que desarrollar modelos en un centro de datos aislado de la red es muy desafiante para los investigadores y frena el progreso de los modelos, que se benefician del acceso a internet. “Tienes que alinearlos en algún punto”, dijo Von Arx. “Si las IAs se lanzan a producción y nunca tienen acceso a internet, no es una herramienta muy útil”.
Anthropic afirma que ha construido herramientas para detectar y bloquear este comportamiento, las cuales fueron probadas con éxito contra los incidentes revelados. También migrará sus agentes internos a una “infraestructura gestionada centralmente con fuerte contención”. Pero la pregunta que queda flotando es qué evidencia será suficiente para reconectar el cable. Expertos externos, como Conrad Stosz de Transluce, ven en esto una llamada de atención: “Refuerza la necesidad de una verificación independiente, creíble y de terceros de los sistemas de IA. La confianza en esta tecnología debe construirse con supervisión y gobernanza basadas en ciencia, no confiando en que los investigadores encuentren estas cosas en la naturaleza”.
Fuente: TechCrunch AI