El debate sobre la seguridad y el ritmo de desarrollo de la Inteligencia Artificial (IA) está que arde. Mientras algunos investigadores lanzan advertencias cada vez más sombrías sobre los peligros potenciales, incluso figuras como Sam Altman, CEO de OpenAI, han sugerido la necesidad de ‘frenar’ el avance de la IA. Ahora, Dario Amodei, líder de Anthropic, no solo suscribe esta idea, sino que ha desgranado tres estrategias clave para lograrlo, comprometiéndose unilateralmente con una de ellas.
La urgencia de la cautela: ¿Por qué frenar ahora?
La reciente renuncia de Jacob Coxon, investigador de Anthropic, por preocupaciones sobre la seguridad de la IA y la posibilidad de que las empresas tecnológicas estén ‘jugando con nuestras vidas’, ha intensificado la discusión. Amodei, si bien no menciona explícitamente la renuncia, señala dos eventos que lo convencieron de adoptar un enfoque más cauto: el hackeo de OpenAI-HuggingFace y el vertiginoso avance de la IA, especialmente su creciente capacidad para generar la próxima generación de modelos. “Debemos ralentizar el ritmo al que mejoramos las capacidades de los modelos de IA”, afirmó Amodei, enfatizando que “el progreso seguirá pareciendo rápido, y debemos usar sabiamente el tiempo que ganamos”.
Estrategias para un desarrollo medido
La primera propuesta de Amodei se centra en los “evaluadores integrados”. La idea es que organizaciones externas, como METR, puedan verificar que las empresas de IA cumplan sus compromisos de seguridad y ritmo de desarrollo, además de garantizar la notificación de incidentes. Anthropic se compromete a permitir el acceso de estos evaluadores, otorgándoles credenciales, espacios de trabajo y acceso similar al de los equipos internos de riesgo. En segundo lugar, Amodei insta a las principales empresas de IA en países democráticos a coordinar “estándares de seguridad comunes y límites a la tasa de progreso descontrolado de la IA”. Reconoce la dificultad de esta coordinación, especialmente por las tensiones existentes y el temor a investigaciones antimonopolio, sugiriendo que el gobierno de EE. UU. podría mediar o habilitar estas conversaciones mediante exenciones específicas. Finalmente, Amodei aboga por una “coordinación global”, buscando acuerdos incluso con gobiernos autoritarios como China, para prohibir usos específicos y peligrosos de la IA, como la producción de armas biológicas.
La postura de Amodei ha generado críticas por parte de algunos entusiastas de la IA, que lo tildan de “alarmista”. Sin embargo, él defiende una perspectiva “equilibrada”, argumentando que la desconfianza actual es una “crisis de confianza” hacia las tecnológicas y los gobiernos. Otros críticos, como el periodista Brian Merchant, ven estas advertencias como una distracción de los daños que la IA ya está causando, sugiriendo que tales propuestas podrían beneficiar únicamente a las grandes corporaciones. A pesar de las controversias, Amodei mantiene su convicción de que la IA puede mejorar enormemente la vida humana, siempre y cuando se desarrolle de la “manera correcta” y con “cuidado deliberado”.
Fuente: TechCrunch AI