¿Alguna vez te preguntaste qué bots están leyendo tu sitio web sin que lo sepas? Un equipo de investigadores acaba de publicar en arXiv un método que podría cambiar las reglas del juego: una técnica basada en canary tokens (tokens canario) que permite identificar, de forma automática y confiable, qué scrapers web alimentan a qué modelos de lenguaje.

Cómo funciona la trampa digital

La idea es elegantemente simple: los investigadores montan sitios web dinámicos que entregan un token único a cada scraper que los visita. Luego, consultan a los LLM preguntando por esos sitios. Si el modelo genera respuestas que contienen los tokens exclusivos de un scraper determinado, es evidencia directa de que ese bot le entregó datos al modelo. Es, en esencia, marcar billetes falsos y esperar a ver quién intenta gastarlos.

Los experimentos, realizados sobre 22 sistemas de LLM en producción, demostraron que el enfoque identifica con precisión qué scrapers sirven datos a qué modelos, incluyendo varios que no son públicos ni fueron divulgados por las empresas. Un golpe directo a la opacidad de la industria.

Por qué importa para dueños de sitios

Hasta ahora, identificar scrapers dependía de la declaración voluntaria de las compañías, experimentos aislados o reportes crowd-sourced: métodos poco confiables y difícilmente escalables. Quien quería bloquear el scraping con el protocolo Robots Exclusion necesitaba primero saber a quién bloquear, y ahí se quedaba ciego.

Este hallazgo les da a los terceros “sin privilegios” —dueños de sitios pequeños, medios, creadores— una herramienta concreta para recuperar el control sobre quién consume su contenido. Las implicancias legales y de privacidad son enormes: el scraping masivo afecta la estabilidad de los sitios y genera tensiones éticas que los tribunales recién empiezan a debatir.

Tips prácticos para proteger tu contenido hoy

• Auditá tus logs: revisá los User-Agent que acceden a tu sitio y contrastalos con listas públicas de crawlers de IA.
• Configurá robots.txt con criterio: bloqueá explícitamente los agentes de OpenAI (GPTBot), Anthropic (ClaudeBot), Google (Google-Extended) o Meta si no querés que te indexen.
• Probá tokens canario propios: insertá frases únicas en páginas poco transitadas y consultales periódicamente a los chatbots principales. Si aparecen, ya sabés quién te está leyendo.
• Documentá todo: si algún día decidís emprender acciones legales, los registros son tu mejor evidencia.

En un ecosistema donde los modelos occidentales —GPT, Claude, Gemini, Llama— compiten ferozmente por datos de entrenamiento frescos, técnicas como esta marcan el inicio de una era de transparencia forzada. El mensaje para Big Tech es claro: ya no podés espiar sin dejar rastro.