OpenAI, Google, Microsoft et Anthropic adoptent un jeton robots.txt commun contre l'entraînement de l'IA

Jusqu'ici, un site qui refusait que ses pages servent à entraîner des modèles d'IA devait bloquer les robots un par un, de GPTBot à Google-Extended. Le 30 octobre, OpenAI, Google, Microsoft et Anthropic ont chacun annoncé qu'ils respecteraient désormais un signal unique, inscrit dans le fichier robots.txt que les sites utilisent déjà pour dialoguer avec les robots d'indexation.

Comment fonctionne le jeton

Le mécanisme est décrit dans un brouillon (Internet-Draft) intitulé « Machine-Readable Training Preference Signal », rédigé par Kevin Kelley, d'Anthropic, et publié le jour même sur le Datatracker de l'IETF. Il n'introduit aucune nouvelle directive. Le site crée un groupe robots.txt classique dont la ligne User-Agent contient le jeton __usage_ai-training, puis applique les règles habituelles : Disallow: / signale un refus de l'entraînement sur tout le site, tandis qu'une ligne Allow peut prévoir des exceptions, par exemple pour un dossier de presse.

Le brouillon rattache ce jeton à la définition de l'entraînement retenue par le groupe de travail AI Preferences (AIPREF) : l'utilisation d'un contenu pour modifier les paramètres appris d'un modèle génératif. Un groupe générique User-Agent: * ne compte pas ; un fichier sans le jeton n'exprime donc aucune préférence. Le jeton ne régit pas non plus l'exploration : l'accès d'un robot à une page dépend toujours des groupes qui lui sont adressés.

Des calendriers différents

Les engagements ne sont pas identiques. Selon TokenPost, Kevin Kelley a indiqué qu'Anthropic avait déjà commencé l'implémentation. OpenAI prévoit un support dans les prochains mois, rapporte Unite.AI. Google compte prendre en charge le signal en 2027 et traitera un refus comme un blocage de Google-Extended, sauf si le site mentionne explicitement Google-Extended, d'après TokenPost. Microsoft appliquera les nouvelles préférences à partir du 1er février 2027, selon Search Engine Roundtable, et ajoute un réglage distinct pour l'« ancrage » (grounding), c'est-à-dire l'usage des contenus pour produire des réponses d'IA, sans effet sur le classement dans Bing.

Ce qui reste en suspens

Il s'agit d'une contribution individuelle : l'IETF précise qu'elle n'est pas approuvée et n'a aucun statut officiel. Le texte ne traite ni de la recherche, ni de la récupération de contenus, ni des données collectées avant la publication du jeton, et des accords privés peuvent primer sur lui. Le brouillon de vocabulaire du groupe de travail rappelle que ces préférences ne constituent pas un mécanisme de sécurité et que leurs destinataires restent libres de les suivre. Le respect du signal repose donc sur la parole des entreprises, sans vérification indépendante annoncée à ce stade.