OpenAI, Google, Microsoft y Anthropic respaldan un único token de robots.txt para excluirse del entrenamiento de IA

Hasta ahora, quien no quería que sus páginas se usaran para entrenar modelos de IA tenía que bloquear los rastreadores uno a uno, desde GPTBot hasta Google-Extended. El 30 de octubre, OpenAI, Google, Microsoft y Anthropic anunciaron por separado que respetarán una única señal compartida, escrita en el archivo robots.txt que los sitios ya emplean para comunicarse con los rastreadores.

Cómo funciona el token

El mecanismo se describe en un borrador (Internet-Draft) titulado "Machine-Readable Training Preference Signal", redactado por Kevin Kelley, de Anthropic, y publicado ese mismo día en el Datatracker del IETF. No añade directivas nuevas. El sitio crea un grupo normal de robots.txt cuya línea User-Agent es el token __usage_ai-training y después usa las reglas de siempre: Disallow: / expresa una preferencia contraria al entrenamiento en todo el sitio, y una línea Allow puede dejar excepciones, como una sala de prensa.

El borrador vincula el token con la definición de entrenamiento del grupo de trabajo AI Preferences (AIPREF): usar un contenido para modificar los parámetros aprendidos de un modelo generativo. Un grupo comodín User-Agent: * no cuenta, de modo que un archivo sin el token no expresa ninguna preferencia. Tampoco es una regla de rastreo: si un bot puede descargar una página sigue dependiendo de los grupos dirigidos a ese bot.

Plazos distintos

Los compromisos no coinciden. Según TokenPost, Kelley escribió que Anthropic ya comenzó a implementarlo. OpenAI dice que lo admitirá en los próximos meses, informa Unite.AI. Google prevé dar soporte a la señal en 2027 y tratará una exclusión como un bloqueo de Google-Extended salvo que el sitio se dirija a Google-Extended de forma explícita, según TokenPost. Microsoft empezará a aplicar las nuevas preferencias el 1 de febrero de 2027, de acuerdo con Search Engine Roundtable, y suma un control aparte para el grounding, es decir, el uso de contenidos para elaborar respuestas de IA, que no altera la clasificación en Bing.

Lo que queda sin resolver

Se trata de una propuesta individual: el IETF advierte que no está respaldada y carece de estatus formal. No aborda la búsqueda, la recuperación de contenidos ni los datos recopilados antes de que un sitio publique el token, y los acuerdos privados pueden prevalecer sobre ella. El borrador de vocabulario del grupo de trabajo señala que estas preferencias no son un mecanismo de seguridad y que cada destinatario decide si las sigue. Su cumplimiento depende, por tanto, de la palabra de las empresas, sin ninguna verificación independiente descrita por ahora.