En un restaurante neoyorquino, Madison —mesera que prefiere mantener su apellido en reserva— tiene un ritual meticuloso: pregunta a cada comensal sobre alergias alimentarias antes de tomar el pedido. Pero últimamente, su profesionalismo choca contra un obstáculo inesperado. “A veces me dicen que tienen alergia al marisco, vuelvo a la mesa y no me hacen más preguntas”, relata. “Y luego piden un plato de pescado que viene con un caldo hecho de crustáceos”. Cuando ella advierte el riesgo, algunos clientes se resisten con un argumento inquietante: “ChatGPT dice lo contrario”.
La autoridad cuestionada: humano vs. algoritmo
Este escenario, documentado por The Verge, ilustra una distorsión preocupante en la dinámica servicio-cliente. No se trata solo de errores técnicos —las llamadas “alucinaciones” de los modelos de lenguaje—, sino de cómo esos fallos erosionan la confianza en el conocimiento experto de las personas. “Solo quieren hablar con ChatGPT”, explica Madison sobre esos comensales que privilegian la respuesta de una IA sobre la advertencia de quien conoce la cocina. El fenómeno trasciende la gastronomía: desde soportes técnicos hasta consultas médicas básicas, usuarios malinterpretan la capacidad de herramientas como GPT-4, Claude o Gemini, tomando sus respuestas probabilísticas como verdades absolutas.
El problema radica en la psicología de la interacción. Los LLMs occidentales —OpenAI, Anthropic, Google y Meta— han mejorado notablemente su precisión, pero aún carecen de mecanismos robustos para delimitar su incertidumbre o contextualizar adecuadamente dominios especializados. Cuando un cliente recibe una respuesta confiada pero errónea de un chatbot, internaliza esa información como “la correcta”, generando un sesgo de confirmación difícil de revertir. El empleado humano queda entonces en desventaja: debe no solo corregir el error, sino también desafiar la fe del cliente en la tecnología.
Implicancias prácticas para negocios y desarrolladores
Para empresas que implementan asistentes de IA, este efecto colateral representa un riesgo operativo y legal. Un alergólogo consultado por este medio advierte: “En temas de salud o seguridad, una alucinación no es un bug menor; es un fallo crítico que puede tener consecuencias graves”. La industria responde con parches: etiquetas de advertencia, citas de fuentes verificables y sistemas de “double-check” que contrastan respuestas con bases de datos cerradas. Sin embargo, la percepción pública aún sobreestima la infalibilidad de estos sistemas.
- Transparencia forzada: Algunas plataformas experimentan con indicadores visuales que muestran el nivel de confianza del modelo en cada afirmación.
- Contextualización obligatoria: Asistentes especializados (como en restaurantes o farmacias) están siendo entrenados para redirigir consultas sensibles a humanos.
- Educación del usuario: Campañas que explican los límites de la IA, diferenciándola de un motor de búsqueda tradicional.
El caso de Madison no es anecdótico; es un síntoma temprano de un desafío de usabilidad masivo. A medida que los LLMs se integran en más capas de la vida diaria, su diseño debe priorizar no solo la precisión, sino también la humildad computacional —saber cuándo decir “no sé”— y la colaboración efectiva con el expertise humano. De lo contrario, la promesa de una IA útil podría degenerar en una fuente sistemática de conflictos y desconfianza donde más importa: en las interacciones cara a cara que aún sostienen la economía de servicios.
Fuente: The Verge (AI Channel)