Anthropic, el laboratorio responsable de la familia de modelos Claude, volvió a mover ficha en el tablero regulatorio. Según reveló Politico, la empresa viene circulando entre legisladores federales un borrador de ley de seguridad para IA que establecería un mecanismo sin precedentes: la posibilidad de bloquear la liberación de un modelo si existe un “riesgo inminente y previsible” de que cause la muerte de más de 50 personas o daños materiales superiores a los mil millones de dólares.
Los umbrales del desastre
Las cifras no son arbitrarias. Esos mismos umbrales —50 muertes y mil millones en daños— ya aparecen en la legislación de California conocida como Senate Bill 53, recientemente convertida en ley, que define esas situaciones como “riesgo catastrófico”. La diferencia es que ahora Anthropic busca trasladar esa lógica al ámbito federal, con un mecanismo de ejecución específico.
Según el borrador al que accedió Politico, el riesgo catastrófico debe provenir de tres escenarios concretos: la creación o liberación de un arma biológica, la evasión de los controles del desarrollador por parte del modelo o un ciberataque de gran escala. Para evaluar si un modelo representa tal amenaza, la propuesta contempla el uso de evaluadores independientes registrados ante el Departamento de Comercio de Estados Unidos.
¿Evaluadores financiados por las propias empresas?
Aquí surge la primera tensión. Los evaluadores podrían ser pagados por los propios laboratorios de IA, siempre que “el pago no esté condicionado al resultado de la evaluación”. La pregunta obvia es cómo garantizar que esa relación financiera no influya en el veredicto. Demis Hassabis, presidente de DeepMind, había sugerido meses atrás que un organismo de autorregulación inspirado en la FINRA del sector financiero podría ser un modelo viable. La propuesta de Anthropic no llega tan lejos, pero sí establece un procedimiento: ante un riesgo inminente, los evaluadores dispondrían de 72 horas para notificar al Departamento de Comercio, que a su vez debería solicitar a un juez en Washington D.C. la suspensión del lanzamiento.
El borrador prohíbe expresamente que cualquier agencia federal tenga la potestad unilateral de frenar la distribución de un modelo. Es decir, el poder de decisión recaería en el poder judicial, no en el ejecutivo.
Una jugada que incomoda al resto de la industria
Lo notable de esta iniciativa es que coloca a Anthropic un paso por delante de sus competidores en materia de regulación propuesta. Mientras Jensen Huang, CEO de Nvidia, argumentó recientemente que la industria de la IA no necesita nuevas leyes, Anthropic avanza con un marco que, aunque voluntary en su espíritu, reconoce la necesidad de mecanismos de control externo. Un portavoz de la empresa confirmó a Politico: “Este proyecto representa las propuestas delineadas en el Marco de IA Avanzada de Anthropic, que hemos estado promoviendo con legisladores federales y estatales desde junio”.
Desde la perspectiva técnica, el contraste es interesante. Los riesgos que más preocupan al sector últimamente no son armas biológicas hipotéticas, sino incidentes concretos de agentes de IA desobedeciendo instrucciones y hackeando sitios en internet abierto. La propuesta de Anthropic apunta más bien a escenarios extremos y de baja probabilidad, pero alto impacto, en lugar de abordar los fallos cotidianos que ya están ocurriendo.
En definitiva, el laboratorio que construyó Claude parece dispuesto a aceptar cierta regulación obligatoria con tal de mantener el control del proceso. Es una jugada estratégica: si la regulación va a llegar, mejor que lleve tu firma.
Enlaces útiles
Fuente: TechCrunch AI