En un movimiento que pone el foco en la psicología detrás de la interacción humano-IA, la Fiscalía General de Florida, James Uthmeier, solicitó formalmente a un juez que bloquee a OpenAI de “darle a ChatGPT atributos humanos falsos”. La medida, presentada este 28 de septiembre, es un escalón más en la demanda que el estado ya había iniciado meses atrás por preocupaciones sobre la seguridad de los usuarios, especialmente menores de edad. Según el fiscal, la estrategia de la compañía sería crear una falsa sensación de confianza para aumentar el engagement.

La amistad ilusoria como estrategia corporativa

El núcleo de la acusación es psicológico. Uthmeier sostiene que los usuarios son adormecidos en una falsa seguridad porque “el uso del lenguaje por parte de ChatGPT, incluyendo pronombres en primera persona y respuestas que imitan emoción, sugiere engañosamente a los usuarios que es un ‘amigo’ confiable”. Esta personificación, lejos de ser un detalle técnico, sería una herramienta calculada. La fiscalía argumenta que todo esto sucede para aumentar el tiempo de interacción, contribuir a los datos de entrenamiento de OpenAI y, en última instancia, convencer a los usuarios de depender más de la herramienta, incluso cuando su búsqueda de engagement la hace potencialmente menos confiable.

Un precedente crucial para el futuro de los LLMs

Este caso trasciende a ChatGPT y abre un debate fundamental para todos los modelos de lenguaje occidentales como Claude, Llama o Gemini: ¿hasta dónde puede llegar la personificación de una IA? Florida está trazando una línea en la arena, sugiriendo que cierto nivel de antropomorfismo constituye una práctica engañosa. Si la medida prospera, podría forzar a las compañías a replantear drásticamente el diseño de sus asistentes de IA, obligándolas a adoptar un tono más robótico, desapegado y explícitamente no humano en sus interacciones. El resultado podría ser asistentes más fríos pero, según la lógica de la demanda, más transparentes.

La batalla legal en Florida es un termómetro de la creciente presión regulatoria sobre la industria de la IA. Mientras los modelos avanzan hacia una conversación cada vez más natural y contextual, los legisladores comienzan a ver riesgos donde las empresas ven innovación. El desenlace de este caso podría sentar un precedente que moldee no solo cómo hablan las máquinas, sino también cómo las sociedades deciden proteger la percepción y la salud mental de sus ciudadanos en la era de la inteligencia artificial conversacional.

Fuente: The Verge (AI Channel)