Deux lignes dans robots.txt pour refuser l’entraînement des IA

Pour dire à plusieurs entreprises d’IA que le contenu de votre site ne doit pas servir à l’entraînement de leurs modèles, il suffit désormais d’ajouter deux lignes à votre fichier robots.txt. Selon ZDNet France, OpenAI, Google, Microsoft et Anthropic soutiennent ce signal commun. Il reste toutefois non contraignant, et chacun l’appliquera à sa date.

Une règle commune au lieu d’une par fournisseur

Jusqu’à présent, tout éditeur qui ne voulait pas que ses pages alimentent des IA devait rédiger une consigne distincte pour chaque entreprise. Avec ce nouveau mécanisme, il suffit de formuler son refus une unique fois dans robots.txt, ce document destiné aux robots d’exploration, qui leur précise la conduite à tenir face à un site.

Dans son communiqué, OpenAI assure qu’elle tiendra compte de ce signal. De leur côté, Google et Microsoft ont dévoilé leurs propres calendriers, et Anthropic a déjà entamé la mise en place. Ce signal découle d’un projet de texte présenté à l’IETF, l’instance chargée de rédiger les normes du Web. Il reprend les réflexions menées par le groupe AIPREF, mais il demeure une proposition individuelle, dépourvue de statut officiel.

Les lignes à ajouter

Le brouillon introduit un identifiant commun, __usage_ai-training. Deux lignes suffisent :

• User-Agent : __usage_ai-training
• Disallow : /

Ces deux lignes indiquent que le site refuse que ses contenus servent à l’entraînement de modèles d’IA générative. On peut également n’autoriser ou n’interdire que certains chemins, par exemple pour réserver un sort différent à une section précise et au reste du site.

Qui applique quoi, et quand

Les calendriers diffèrent d’une entreprise à l’autre.

• OpenAI prévoit de déployer le dispositif dans les mois à venir et fera paraître une annonce expliquant son application. Les règles actuelles de son crawler continuent de s’appliquer et d’être honorées.
• Google envisage une prise en charge en 2027, sans préciser de date. Si aucune règle ne vise Google-Extended, le groupe interprétera le signal commun comme un refus pour Google-Extended, le paramètre qui encadre l’emploi des contenus par ses IA génératives.
• Microsoft donne les indications les plus nettes : Bing respectera ces préférences dès le 1er février 2027.

Microsoft sépare l’entraînement des modèles du « grounding », soit l’exploitation de contenus extérieurs afin d’alimenter une réponse. Ce second paramètre s’applique page par page, au moyen d’une balise ou d’un en-tête, et ne passe pas par robots.txt.

Les sites qui comptaient sur les paramètres NoArchive et NoCache de Bing pour restreindre l’exploitation par l’IA devront adopter un autre dispositif. Voici les dates à retenir :

1. 15 décembre 2026 Une préférence provisoire est proposée dans les outils pour webmasters de Bing.
2. 1er février 2027 Bing applique les préférences exprimées par le signal commun.
3. 1er mars 2027 NoArchive et NoCache cessent d’être interprétés comme des préférences IA.

Ce que le signal ne fait pas

Ce signal n’empêche ni l’accès au site ni son indexation par les moteurs de recherche : il traduit uniquement un souhait quant à l’utilisation des contenus pour l’entraînement. Opter pour ce refus ne fait donc pas disparaître vos pages des résultats de recherche.

Pour obtenir un blocage réel, seuls la gestion des robots et les pare-feu applicatifs offrent des solutions techniques. Il est de plus recommandé aux éditeurs de maintenir leurs règles existantes, telles que GPTBot, Google-Extended ou ClaudeBot, en plus du nouveau signal.

Photo : Rafael Minguet Delgado / Pexels