Le 30 octobre 2026, Google, Microsoft et OpenAI ont chacun publié un billet qui appuie une façon partagée pour un site d’énoncer sa préférence d’entraînement IA dans robots.txt. Le mécanisme vient d’un brouillon Internet écrit par Kevin Kelley d’Anthropic pour le groupe de travail AI Preferences à l’Internet Engineering Task Force. Microsoft est allé le plus loin dans son billet. Il a fixé des dates fermes, ajouté ses propres contrôles au niveau de la page et nommé la date où ses vieilles balises cessent de compter.
Ce que vous allez construire ou apprendre
Vous terminerez avec trois choses en place. Premièrement, un groupe robots.txt qui énonce votre préférence d’entraînement à chaque fournisseur participant à la fois, pour tout le site ou pour les chemins que vous choisissez. Deuxièmement, des balises Microsoft au niveau de la page sur toute page qui a besoin d’un choix d’entraînement différent, plus un choix d’ancrage si vous voulez aussi contrôler les réponses IA. Troisièmement, un registre de transition dans Bing Webmaster Tools si votre site utilise maintenant NoArchive ou NoCache et que vous voulez qu’une restriction d’ancrage survive au basculement.
Une limite traverse tout le travail. Le jeton partagé couvre l’entraînement seulement. L’entraînement, dans la définition du groupe de travail, signifie utiliser un actif pour modifier les paramètres appris d’un modèle d’IA générative. Il ne couvre pas l’indexation de recherche, et il ne couvre pas l’ancrage, où un système lit une page en direct pour aider à éclairer une réponse générée.
Avant de commencer
Sauvegardez le fichier robots.txt actuel et tout gabarit qui affiche des balises meta robots avant de changer une ligne. Les vieilles balises Microsoft ne vivent pas dans robots.txt. NoArchive et NoCache se trouvent dans une balise meta robots dans l’en tête de la page ou dans un en tête de réponse X-Robots-Tag, alors la vérification ci dessous examine les deux endroits.
Notez les dates de déploiement avant d’attendre des résultats. Microsoft commence à honorer les nouvelles préférences le 1er février 2027, à mesure qu’il explore. Google dit qu’il vise à prendre en charge le contrôle en 2027. OpenAI dit qu’il vise à mettre en œuvre le signal dans les mois qui viennent. Publier le groupe aujourd’hui met votre préférence au registre tôt. Cela n’active rien aujourd’hui chez la plupart des fournisseurs.
| Date | Ce qui se produit |
|---|---|
| 15 décembre 2026 | Les préférences de transition d’ancrage temporaires ouvrent dans Bing Webmaster Tools, seulement pour les sites qui utilisent NoArchive ou NoCache à cette date |
| 1er février 2027 | Microsoft commence à honorer les nouvelles préférences d’entraînement et d’ancrage à mesure qu’il explore |
| 1er mars 2027 | Après cette date, Microsoft ne lit plus NoArchive et NoCache comme une préférence d’entraînement ou d’ancrage |
| 3 mai 2027 | Le brouillon Internet expire à moins d’être révisé ou adopté |
| 30 septembre 2027 | Les préférences d’ancrage temporaires dans Bing Webmaster Tools expirent |
Étape 1 : vérifier le fichier actuel et les vieilles balises
Action : récupérez le fichier robots.txt en direct de votre site et enregistrez une copie. Remplacez le domaine d’exemple par le vôtre.
curl https://example.com/robots.txt
Résultat attendu : le fichier en direct s’affiche au complet. Cherchez les groupes qui nomment des robots IA ou des jetons de fournisseurs, comme Google-Extended ou GPTBot, et notez ce que chaque groupe permet ou bloque. Ces règles continuent de fonctionner après cette migration, alors la vérification est votre registre de ce qui doit rester.
Action : vérifiez une page échantillon pour les vieilles balises Microsoft sous les deux formes.
curl -s https://example.com/example-page/ | grep -i "noarchive\|nocache"
curl -sI https://example.com/example-page/ | grep -i "x-robots-tag"
Résultat attendu : chaque correspondance montre où une vieille balise vit, dans la balise meta ou dans l’en tête. Vérifiez la page d’accueil, une page d’article et une page de chaque gabarit que votre site utilise. Si rien ne correspond nulle part, votre site n’a jamais utilisé les vieilles balises, et vous pouvez sauter l’étape 7.
Étape 2 : décider le choix d’entraînement pour chaque chemin
Action : décidez, chemin par chemin, lequel des trois états vous voulez. Un chemin couvert par une règle Disallow énonce une préférence contre l’entraînement. Un chemin couvert par une règle Allow énonce une préférence en faveur de l’entraînement. Un chemin sans groupe qui nomme le jeton n’énonce aucune préférence du tout.
Résultat attendu : une courte liste que vous pouvez transformer en règles à l’étape suivante. Deux pièges appartiennent à cette décision. Un groupe pour le jeton générique ne compte pas, puisque le brouillon dit que les groupes génériques ne doivent pas être lus comme correspondant au jeton de politique. Et le jeton doit correspondre exactement, sauf pour la casse des lettres, alors une erreur d’orthographe transforme tout le groupe en silence.
Étape 3 : ajouter le groupe du jeton partagé à robots.txt
Action : ajoutez un nouveau groupe à robots.txt. Pour un refus pour tout le site, le groupe fait deux lignes.
User-Agent: __usage_ai-training
Disallow: /
Résultat attendu : le groupe énonce une préférence contre l’entraînement par IA générative pour chaque chemin du site. Le jeton a deux traits de soulignement au début. Vérifiez que votre éditeur ou votre système de contenu ne les a pas retirés ni transformé le nom en lien.
Action : pour un refus partiel, nommez les chemins à la place, et dégagez tout chemin que vous voulez laisser ouvert avec une règle Allow. Le brouillon utilise cette forme, avec un dossier de presse laissé ouvert.
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/
Résultat attendu : les règles de chemin suivent les règles normales de robots.txt, y compris la précédence de la correspondance la plus longue, parce que le brouillon n’ajoute aucune nouvelle grammaire et aucun nouveau nom de directive. Une seule section fonctionne de la même façon, avec une ligne comme Disallow: /archive/ à la place de la règle pour tout le site.
Étape 4 : garder les règles de fournisseurs que vous avez déjà
Action : laissez chaque groupe de fournisseur existant dans le fichier, exactement comme la vérification l’a trouvé. Ajoutez le groupe partagé à côté d’eux au lieu de les remplacer.
Résultat attendu : les contrôles qui fonctionnent aujourd’hui continuent de fonctionner pendant que la prise en charge du jeton partagé arrive. Google énonce le point pour son propre jeton. Quand un site utilise le jeton partagé pour refuser et que Google-Extended n’est pas précisé explicitement, Google compte lire cela comme un refus Google-Extended. Un site qui nomme Google-Extended garde son propre choix énoncé pour Google, et Google dit que les sites qui permettent Google-Extended restent admissibles à apparaître dans les réponses dans Gemini Apps. OpenAI dit la même chose en termes généraux. Le nouveau signal ne remplacera pas les contrôles de robots qu’il fournit déjà, et ces contrôles continueront de s’appliquer.
Étape 5 : ajouter les balises Microsoft d’entraînement au niveau de la page où une page diffère
Action : là où une page a besoin d’un choix d’entraînement différent de la règle du site, ajoutez la forme Microsoft au niveau de la page à cette page. Utilisez la balise meta dans l’en tête de la page, ou la forme d’en tête si la page n’a aucun en tête HTML à modifier.
<meta name="Bingbot" content="ai-training:disallow">
X-Robots-Tag: Bingbot: ai-training:disallow
Résultat attendu : pour Microsoft, le réglage au niveau de la page remplace le réglage robots.txt pour cette page. Cette couche est un contrôle Microsoft. Elle ne fait pas partie du signal partagé, et les autres fournisseurs n’y sont pas liés. Microsoft commence à l’honorer le 1er février 2027, à mesure qu’il explore la page.
Étape 6 : régler l’ancrage séparément si les réponses IA comptent pour vous
Action : décidez le choix d’ancrage seul. L’ancrage est l’usage d’une page comme entrée pour aider à éclairer une réponse générée, dans des produits que Microsoft liste comme AI Mode, AI Overview, Copilot et Microsoft 365. Le jeton partagé ne dit rien au sujet de l’ancrage, et il n’existe aucune règle d’ancrage robots.txt pour tout le site. Microsoft règle l’ancrage page par page seulement.
<meta name="Bingbot" content="ai-grounding:disallow">
X-Robots-Tag: Bingbot: ai-grounding:disallow
Résultat attendu : une valeur Disallow garde la page hors de l’ancrage pour Microsoft. L’option du milieu, écrite comme ai-grounding:disallowextended dans le même schéma de balise ou d’en tête, permet l’ancrage dans les expériences exploitées par Microsoft seulement et ferme les services d’ancrage que Microsoft fournit à des tiers, que son billet nomme comme Web IQ et l’ancrage par accès API dans Foundry. Allow est le réglage par défaut, alors une page sans balise d’ancrage peut être utilisée pour éclairer les réponses.
Étape 7 : enregistrer la transition dans Bing Webmaster Tools
Action : cette étape s’applique seulement si l’étape 1 a trouvé NoArchive ou NoCache sur votre site et que vous voulez garder une restriction d’ancrage. À partir du 15 décembre 2026, ouvrez Bing Webmaster Tools et enregistrez une préférence d’ancrage temporaire. Il n’existe aucun réglage d’entraînement temporaire, alors le côté entraînement repose sur le groupe robots.txt et les balises de page que vous avez déjà publiés.
Résultat attendu : le registre temporaire garde votre choix d’ancrage pour les pages que Microsoft n’a pas encore réexplorées. Microsoft dit qu’il pourrait ne pas réexplorer chaque page entre le 1er février et le 1er mars 2027, ce qui explique pourquoi les deux moitiés sont requises avant le 1er mars. Une préférence temporaire dure jusqu’à ce que la page soit réexplorée et que sa nouvelle préférence sur la page soit trouvée, ou jusqu’au 30 septembre 2027, selon la première éventualité. Sautez le registre, et les pages avec de vieilles balises passent par défaut à Allow pour l’ancrage jusqu’à ce qu’une réexploration trouve la nouvelle balise.
Étape 8 : publier et laisser les vieilles balises en place pour l’instant
Action : publiez le fichier robots.txt mis à jour à la racine du domaine, et publiez tout changement de gabarit qui porte les nouvelles balises meta. Laissez les balises NoArchive et NoCache où elles sont.
Résultat attendu : les vieilles balises ne font aucun mal pendant la transition. Microsoft dit que s’il détecte de nouvelles préférences d’entraînement ou d’ancrage sur un site, il ignorera toutes les préférences NoArchive et NoCache qui restent. Retirer les vieilles balises peut attendre après le 1er mars 2027, quand elles cessent de compter comme préférences IA de toute façon. Notez que NoArchive garde son ancien sens en recherche au sujet des copies en cache pour les moteurs qui le lisent de cette façon, ce qui est une décision séparée de cette migration.
Vérification
Récupérez le fichier en direct et les pages changées depuis l’extérieur de votre éditeur, et lisez ce que le serveur sert vraiment.
curl https://example.com/robots.txt
curl -s https://example.com/example-page/ | grep -i "ai-training\|ai-grounding"
curl -sI https://example.com/example-page/ | grep -i "x-robots-tag"
La première sortie montre votre nouveau groupe avec le jeton épelé exactement comme __usage_ai-training. Les deuxième et troisième sorties montrent les balises au niveau de la page sur les pages où vous les avez réglées. Vérifiez ensuite la seule chose que la syntaxe ne peut pas prouver. Une préférence publiée prend effet seulement quand un fournisseur explore et la lit, et Microsoft énonce cette limite pour son propre déploiement. IndexNow peut signaler qu’une page a changé et relever la chance d’une réexploration, mais Microsoft ne garantit aucune date de réexploration, alors traitez tout résultat de test précoce comme une lecture du calendrier, pas comme un échec du fichier.
Dépannage
| Problème | Cause probable | Correctif |
|---|---|---|
| Aucun fournisseur ne réagit au nouveau groupe | Le groupe se trouve sous le jeton générique, ou aucun groupe ne nomme le jeton | Ajoutez un groupe qui nomme __usage_ai-training sur sa propre ligne User-Agent |
| Le groupe semble juste et ne fait rien | Le jeton est mal épelé, souvent avec un trait de soulignement initial perdu | Retapez le nom avec deux traits de soulignement au début et publiez le fichier de nouveau |
| L’entraînement est bloqué et la page apparaît encore dans les réponses IA | L’ancrage n’a jamais été réglé, puisque le jeton couvre l’entraînement seulement | Ajoutez la balise d’ancrage de l’étape 6 à la page |
| Une page suit la règle du site et ignore sa propre balise | La balise nomme le mauvais robot, ou la forme d’en tête est mal formée | Utilisez le nom Bingbot et les formes exactes des étapes 5 et 6 |
| Les vieilles restrictions disparaissent en mars 2027 | Aucune nouvelle préférence n’a été publiée, ou le registre de transition Webmaster Tools a été sauté | Publiez les nouvelles préférences tout de suite et acceptez qu’elles prennent effet à la réexploration |
| Des pages sortent de la recherche Bing après la modification | Un groupe de robot d’exploration a été bloqué pendant la modification du fichier | Restaurez les groupes de robots depuis votre sauvegarde et énoncez les préférences d’usage avec le jeton à la place |
| Google traite le site comme ayant refusé et le trafic Gemini Apps s’arrête | Le refus partagé a été lu comme un refus Google-Extended, parce que Google-Extended n’était pas nommé | Nommez Google-Extended dans son propre groupe avec le choix que vous voulez pour Google |
Prochaines étapes
Mettez deux dates dans votre calendrier. La première est le 1er mars 2027, l’échéance dans ce tutoriel. La deuxième est une vérification dans la deuxième moitié de 2027, quand le soutien de Google doit arriver, que le brouillon aura été révisé ou aura expiré et que les registres d’ancrage temporaires seront épuisés. Revérifiez le statut du brouillon au datatracker de l’IETF avant cette visite, puisqu’un brouillon individuel n’a aucune position formelle et que la forme du jeton pourrait encore changer.
Les sites sans vieilles balises Microsoft ont la version facile de ce travail. Les étapes 3 et 4 sont toute la migration, et les étapes 5 et 6 sont là quand une seule page ou la question de l’ancrage a besoin d’une réponse plus fine. Dans les deux cas, le fichier dit maintenant ce que vous voulez dire à un endroit, et il le dit avant que l’échéance force la question.
Étapes, syntaxe et dates vérifiés par rapport au brouillon Internet de l’IETF pour le signal de préférence d’entraînement, au billet Bing de Microsoft sur les préférences d’entraînement et d’ancrage, au billet Google Search Central sur le contrôle d’entraînement IA partagé et au billet OpenAI sur les préférences d’entraînement IA, novembre 2026. Cette procédure a été vérifiée par rapport à ces documents. Elle n’a pas été exécutée comme une migration en direct sur un site de production dans ce passage.
Sources
- Internet Draft, Machine Readable Training Preference Signal, IETF datatracker: https://datatracker.ietf.org/doc/html/draft-kelley-aipref-training-preference-signal-00
- Microsoft Bing, Your content, your choice, clearer preferences for training and grounding: https://blogs.bing.com/search/2026/10/your-content-your-choice-clearer-preferences-for-training-and-grounding/
- Google Search Central, Supporting a shared AI training control for websites: https://developers.google.com/search/blog/2026/10/ai-training-control
- OpenAI, Making it easier for websites to express AI training preferences: https://openai.com/index/helping-websites-express-ai-training-preferences/
- Body illustrations: Dirty Static, generated in house style
FIN DE LA TRANSMISSION
Restez curieux. Remettez tout en question.
