Un directeur commercial nous a décrit la scène ainsi. Un prospect l'appelle, très avancé dans sa réflexion, avec une liste de trois fournisseurs en main. La liste vient d'un assistant IA. Son entreprise n'y figure pas. Quand il a voulu comprendre pourquoi, personne chez lui ne savait dire si les robots d'OpenAI, d'Anthropic ou de Perplexity avaient seulement le droit de lire le site.
C'est la situation la plus courante que nous rencontrons en audit. Le site est propre, le référencement classique est correct, et pourtant l'entreprise est absente des réponses générées, parce qu'une couche technique quelque part (un fichier robots.txt hérité, un réglage par défaut du CDN, une règle de pare-feu posée il y a deux ans contre le scraping) ferme la porte aux assistants sans que quiconque l'ait décidé.
Ce guide traite le sujet de bout en bout. La première moitié s'adresse à la direction, au marketing et au RSSI : ce qui a changé, ce que font réellement ces robots, et quelle politique adopter. La seconde moitié s'adresse à l'équipe qui va mettre en œuvre : le protocole étape par étape, les fichiers, les commandes, les vérifications, puis la mesure et la gouvernance dans la durée.
robots.txt et sur la configuration du CDN ou du pare-feu, et un compte Bing Webmaster Tools (gratuit). Aucune connaissance en intelligence artificielle n'est nécessaire. Les exemples de commandes sont donnés pour Linux ; ils se transposent sans difficulté.1. Ce qui a changé : la visite est déléguée
Pendant vingt ans, la mécanique du web était simple. Un moteur indexait vos pages, un utilisateur tapait une requête, une liste de liens s'affichait, l'utilisateur cliquait, votre page se chargeait. Chaque étape laissait une trace mesurable et chaque trace alimentait un tableau de bord.
Les assistants conversationnels ont inséré un intermédiaire dans cette chaîne. L'utilisateur pose sa question à ChatGPT, à Claude, à Perplexity ou à Copilot. L'assistant décide seul s'il a besoin du web, lance ses propres recherches, lit les pages qu'il juge utiles, synthétise, et répond. Il cite parfois ses sources. L'utilisateur clique rarement. Votre site a peut-être été lu, votre argumentaire a peut-être pesé dans la réponse, mais rien de tout cela n'apparaît dans votre outil d'analyse d'audience.
Trois conséquences pratiques en découlent.
La première est que le trafic n'est plus un bon indicateur de présence. Une entreprise peut être citée cent fois par jour dans des réponses générées et ne voir arriver qu'une poignée de visites référencées. Nous y reviendrons dans la partie mesure, car les outils commencent tout juste à combler ce vide.
La deuxième est que l'accès se négocie robot par robot. Les éditeurs ont mis en place, chacun de leur côté, une séparation nette entre leurs différentes activités de lecture du web. Cette séparation est la clé de toute la suite.
La troisième est que le blocage est silencieux. Un robot qui reçoit une erreur, une page de vérification ou un délai excessif n'insiste pas et ne prévient personne. Le site disparaît des réponses sans qu'aucun signal ne remonte.
2. Les trois autorisations, et pourquoi elles sont indépendantes
Chaque grand éditeur fait lire le web par plusieurs robots, identifiés par un nom d'agent distinct dans le fichier robots.txt. Malgré des vocabulaires différents, ils recouvrent trois fonctions.
L'indexation pour la recherche. Un robot parcourt le web en continu pour construire l'index que l'assistant interroge quand il a besoin de sources. C'est l'équivalent du robot d'un moteur classique. Chez OpenAI, il s'appelle OAI-SearchBot ; chez Anthropic, Claude-SearchBot ; chez Perplexity, PerplexityBot. Le refuser revient à disparaître de la liste des sources candidates.
La récupération à la demande. Quand un utilisateur pose une question qui exige d'aller lire une page précise, l'assistant envoie un robot chercher cette page, immédiatement. Ce n'est pas une exploration automatisée : il y a une personne derrière chaque requête. ChatGPT-User, Claude-User et Perplexity-User remplissent ce rôle. Le refuser empêche l'assistant de citer votre page au moment exact où quelqu'un cherche ce que vous proposez.
La collecte pour l'entraînement. Un troisième robot rassemble des contenus qui pourront servir à entraîner les futures versions des modèles. GPTBot chez OpenAI, ClaudeBot chez Anthropic. Le refuser n'a aucun effet sur votre présence dans les réponses d'aujourd'hui. C'est une décision de propriété intellectuelle, pas une décision de visibilité.
Deux subtilités méritent d'être notées avant de décider quoi que ce soit.
La première concerne les robots de récupération à la demande. Anthropic déclare que ses trois robots, Claude-User compris, respectent le robots.txt. OpenAI a retiré en fin d'année 2025 la mention selon laquelle ChatGPT-User s'y conformait, et Perplexity indique que Perplexity-User ne l'applique généralement pas. Le raisonnement des éditeurs est qu'une personne a demandé la page ; le fichier s'adresse aux automates. Vous pouvez contester ce raisonnement, mais il faut savoir qu'un refus dans le robots.txt ne suffit pas toujours à arrêter ces agents, et qu'un blocage réseau les arrêtera, eux et le prospect derrière.
La seconde concerne Google. Il n'existe pas de robot séparé pour les aperçus IA et le mode IA : c'est Googlebot, le même que pour la recherche classique, qui alimente le tout. Le jeton Google-Extended permet de refuser l'usage de vos contenus pour l'entraînement et l'ancrage des modèles Gemini hors de la recherche, sans toucher à votre indexation. Il ne vous retire pas des réponses générées dans Google Search. Cette confusion est fréquente, et elle est au cœur du changement de règles de Cloudflare que nous verrons plus loin.
Trois politiques possibles
En pratique, la décision se résume à choisir entre trois positions. La grande majorité des entreprises B2B se retrouve dans la deuxième.
Quelle politique pour votre site ?
| Visible sans entraîner | Tout ouvert | |
|---|---|---|
| Indexation recherche | Autorisée | Autorisée |
| Lecture à la demande | Autorisée | Autorisée |
| Entraînement des modèles | Refusée | Autorisée |
| Présence dans les réponses | Complète | Complète |
| Contenu réutilisable dans les futurs modèles | Non (opposition formelle) | Oui |
| Compatibilité directive droit d'auteur (opt-out TDM) | Opposition lisible par machine | Aucune réserve exprimée |
| Convient à | B2B, éditeurs, sites à contenu propriétaire | Sites vitrines, documentation publique, projets ouverts |
La troisième position, tout fermer, se justifie pour un intranet exposé, une plateforme transactionnelle sans contenu éditorial ou un site dont le contenu est le produit lui-même. Elle doit alors être appliquée au niveau réseau, pas seulement dans le robots.txt, et assumée : l'entreprise n'existera pas dans les réponses des assistants.
3. Où ça se bloque : les quatre couches
Voici le constat qui surprend le plus nos interlocuteurs. Sur les sites que nous auditons, le robots.txt est rarement le coupable. Le blocage vient d'une couche située avant ou après, que personne n'associe à la visibilité IA.
Couche 1, le CDN et le pare-feu applicatif. C'est le cas le plus fréquent. Depuis juillet 2025, tout nouveau domaine placé derrière Cloudflare bloque par défaut les robots IA identifiés, robots de recherche compris. Le 1er juillet 2026, Cloudflare a remplacé cet interrupteur unique par trois catégories, recherche, agent et entraînement, réglables séparément, et a annoncé de nouveaux réglages par défaut entrés en vigueur le 15 septembre 2026 : pour les domaines nouvellement ajoutés, les nouveaux sites d'un compte existant et les comptes gratuits qui n'ont rien modifié, les catégories entraînement et agent sont bloquées sur les pages qui affichent de la publicité, tandis que la recherche reste autorisée. Le point délicat est le traitement des robots à usages multiples : Googlebot, qui sert à la fois la recherche et les fonctions IA de Google, se voit appliquer la règle la plus restrictive parmi celles qui le concernent. Une entreprise qui bloque l'entraînement sur un site financé par la publicité peut donc, sans le vouloir, freiner Google lui-même. Les autres CDN et pare-feux applicatifs (Akamai, Fastly, AWS WAF, Imperva) ont des listes de robots IA gérées et des réglages comparables.
Couche 2, l'hébergeur et la sécurité serveur. Un robot d'indexation demande beaucoup de pages en peu de temps. Une limite de débit trop stricte lui renvoie des erreurs 429 ; un outil comme fail2ban ou CrowdSec, configuré avec un scénario de détection de parcours automatisé, bannit son adresse IP pour plusieurs heures. Les hébergeurs mutualisés ajoutent parfois leurs propres protections sans en informer le client, précisément parce que les robots consomment du processeur. Le site est ouvert sur le papier et fermé dans les faits.
Couche 3, le robots.txt. Les erreurs classiques sont une règle User-agent: * avec un Disallow large, censée arrêter les aspirateurs de contenu, qui arrête aussi tout robot IA non nommé explicitement ; un groupe spécifique déclaré pour un robot mais pas pour les autres du même éditeur ; un fichier corrigé sur le domaine principal mais pas sur les sous-domaines, alors que chaque hôte a le sien. Une règle utile à garder en tête : un robot n'obéit qu'au groupe le plus spécifique qui le nomme, et ignore alors complètement le groupe générique.
Couche 4, la page elle-même. Les robots IA lisent le HTML tel qu'il est servi. Une page dont le contenu n'apparaît qu'après exécution de JavaScript côté client leur présente une coquille vide. Un noindex oublié, un contenu derrière un consentement bloquant ou un mur d'inscription produisent le même effet. Ce point relève des équipes web plus que de la sécurité, mais il faut le vérifier au même moment.
robots.txt comme seul mécanisme fiable d'opposition.4. Le protocole de mise en place
La suite s'adresse à l'équipe technique et se lit comme une procédure. Chaque étape produit un livrable vérifiable. Comptez une demi-journée pour les étapes 1 à 4 sur un site simple, une journée si plusieurs domaines ou un CDN d'entreprise sont impliqués.
4.1 Constater l'existant
Commencez par établir, preuves à l'appui, ce qui se passe aujourd'hui. Trois vérifications suffisent.
Lisez d'abord le robots.txt de chaque hôte concerné et repérez les groupes qui touchent les robots IA.
for host in www.exemple.fr blog.exemple.fr docs.exemple.fr; do
echo "== $host"
curl -sL "https://$host/robots.txt" | grep -iE -B1 -A3 'gptbot|oai-searchbot|chatgpt-user|claudebot|claude-user|claude-searchbot|perplexity|google-extended|applebot|bytespider|ccbot|user-agent: \*'
doneCherchez ensuite dans les logs d'accès des trente derniers jours les passages de ces robots et surtout les codes de réponse qu'ils ont reçus. Un 200 signifie que la page a été lue ; un 403, un 429 ou un 503 signifie qu'une couche a refusé.
zgrep -hiE 'OAI-SearchBot|ChatGPT-User|GPTBot|ClaudeBot|Claude-User|Claude-SearchBot|PerplexityBot|Perplexity-User|Google-Extended|Applebot' /var/log/nginx/access.log* \
| awk '{ split($0, a, "\""); ua=a[6]; code=$9;
bot="autre";
if (ua ~ /OAI-SearchBot/) bot="OAI-SearchBot";
else if (ua ~ /ChatGPT-User/) bot="ChatGPT-User";
else if (ua ~ /GPTBot/) bot="GPTBot";
else if (ua ~ /Claude-SearchBot/) bot="Claude-SearchBot";
else if (ua ~ /Claude-User/) bot="Claude-User";
else if (ua ~ /ClaudeBot/) bot="ClaudeBot";
else if (ua ~ /Perplexity-User/) bot="Perplexity-User";
else if (ua ~ /PerplexityBot/) bot="PerplexityBot";
n[bot" "code]++ }
END { for (k in n) print n[k], k }' | sort -k2,2 -k1,1nrSur un serveur derrière Caddy avec des logs au format JSON, le même comptage s'obtient avec jq sur les champs request.headers.User-Agent et status. Si le site est derrière Cloudflare, les logs du serveur d'origine ne verront jamais les robots bloqués à la périphérie : ouvrez le tableau de bord, rubrique AI Crawl Control (anciennement AI Audit), qui liste chaque robot, ses requêtes et le sort qui leur a été réservé.
Enfin, si un pare-feu comportemental tourne sur le serveur, listez ses décisions récentes. Avec CrowdSec :
sudo cscli decisions list -o json | jq -r '.[] | [.value, .scenario, .duration] | @tsv' | head -50
sudo cscli alerts list --scenario crowdsecurity/http-crawl-non_staticsConsignez le résultat dans un tableau à quatre colonnes : robot, dernier passage, code de réponse dominant, couche responsable. C'est l'état initial que vous comparerez après intervention.
4.2 Écrire la politique et la faire signer
Avant de toucher au moindre fichier, formalisez la décision. Elle tient sur une page et engage trois fonctions : le marketing ou la communication, qui porte l'objectif de visibilité ; la sécurité, qui porte les règles de blocage et la vérification des robots ; le juridique ou la direction, qui tranche sur l'entraînement.
Le volet juridique n'est pas décoratif. La directive européenne sur le droit d'auteur permet à un titulaire de droits de s'opposer à la fouille de textes et de données à des fins commerciales, à condition que cette opposition soit exprimée de manière lisible par machine ; le robots.txt est aujourd'hui le vecteur le plus reconnu de cette réserve. Le règlement européen sur l'IA, dont les obligations pour les modèles à usage général s'appliquent depuis le 2 août 2026, impose de son côté aux fournisseurs de ces modèles une politique de respect du droit d'auteur, y compris de ces réserves. Refuser l'entraînement dans le robots.txt a donc une portée juridique réelle, et l'autoriser tacitement en a une aussi.
La fiche de décision contient au minimum : la politique retenue parmi les trois du chapitre 2 ; la liste des hôtes couverts ; les exceptions par répertoire (espace client, recherche interne, pages de compte) ; le propriétaire de la configuration ; la date de la prochaine revue. Une fois signée, elle devient la référence contre laquelle chaque couche technique est vérifiée.
4.3 Écrire le robots.txt
Voici un fichier complet pour la politique « visible sans entraîner », qui convient à la plupart des sites d'entreprise. Adaptez les répertoires exclus à votre structure.
# Politique visibilité IA · révisée le 2026-09-17 · propriétaire : équipe web
# Recherche et lecture à la demande autorisées, entraînement refusé.
# --- OpenAI ---
User-agent: OAI-SearchBot
Allow: /
Disallow: /compte/
Disallow: /recherche
User-agent: ChatGPT-User
Allow: /
Disallow: /compte/
User-agent: GPTBot
Disallow: /
# --- Anthropic ---
User-agent: Claude-SearchBot
Allow: /
Disallow: /compte/
Disallow: /recherche
User-agent: Claude-User
Allow: /
Disallow: /compte/
User-agent: ClaudeBot
Disallow: /
# --- Perplexity ---
User-agent: PerplexityBot
Allow: /
Disallow: /compte/
User-agent: Perplexity-User
Allow: /
# --- Google : jeton d'entraînement Gemini (n'affecte pas la recherche ni les aperçus IA) ---
User-agent: Google-Extended
Disallow: /
# --- Apple ---
User-agent: Applebot-Extended
Disallow: /
# --- Collecte massive sans contrepartie de visibilité ---
User-agent: CCBot
Disallow: /
User-agent: Bytespider
Disallow: /
# --- Tous les autres robots ---
User-agent: *
Allow: /
Disallow: /compte/
Disallow: /recherche
Disallow: /admin/
Sitemap: https://www.exemple.fr/sitemap.xmlTrois règles de forme évitent les mauvaises surprises. Chaque robot autorisé doit avoir son propre groupe, même si les règles sont identiques à celles du groupe générique, parce qu'un robot nommé dans un groupe spécifique n'applique que celui-là. Le fichier doit exister sur chaque sous-domaine, avec ses propres règles. Et il faut prévoir le délai de prise en compte : OpenAI indique environ vingt-quatre heures pour que ses systèmes tiennent compte d'une modification ; les autres éditeurs ne s'engagent pas sur une durée, comptez quelques jours.
Anthropic indique respecter la directive non standard Crawl-delay ; si votre serveur souffre sous la charge d'un robot légitime, c'est ce levier qu'il faut utiliser plutôt qu'un blocage réseau qui l'empêcherait ensuite de lire vos consignes.
4.4 Ouvrir les couches d'infrastructure
C'est l'étape qui demande le plus de coordination avec la sécurité, et c'est celle qui débloque le plus souvent la situation.
Sur Cloudflare. Ouvrez la zone, rubrique Sécurité puis Bots ou AI Crawl Control selon votre version du tableau de bord. Depuis le 1er juillet 2026, vous disposez de trois réglages indépendants : recherche, agent, entraînement. Mettez la recherche sur autorisé, l'agent sur autorisé si vous voulez être cité à la demande, et l'entraînement sur bloqué si votre politique le prévoit. Vérifiez ensuite la liste nominative des robots pour confirmer que OAI-SearchBot, Claude-SearchBot et PerplexityBot ne figurent pas dans une règle de blocage héritée de l'ancien interrupteur unique. Si votre site affiche de la publicité, relisez le traitement réservé à Googlebot : avec un blocage de l'entraînement actif, la règle la plus restrictive s'applique à ce robot à usages multiples, et il faut passer par l'exception explicite proposée par Cloudflare pour préserver votre présence dans la recherche Google. Les autres CDN offrent un équivalent sous les noms de gestion des bots ou de listes de robots vérifiés.
Sur un pare-feu comportemental. L'objectif est de sortir les robots légitimes des scénarios de détection de parcours automatisé sans ouvrir la porte aux imposteurs. Pour OpenAI, dont les plages IP sont publiées, l'approche la plus sûre est une liste d'autorisation par adresse, rafraîchie automatiquement.
# Récupère les plages IP publiées par OpenAI et les met en liste d'autorisation CrowdSec
for bot in gptbot searchbot chatgpt-user; do
curl -s "https://openai.com/${bot}.json" | jq -r '.prefixes[].ipv4Prefix // empty'
done | sort -u > /etc/crowdsec/openai-prefixes.txt
sudo cscli allowlists create robots-ia -d "Robots IA vérifiés par plage IP éditeur" 2>/dev/null || true
while read -r cidr; do
sudo cscli allowlists add robots-ia "$cidr" -d "OpenAI"
done < /etc/crowdsec/openai-prefixes.txtPour Anthropic, qui ne publie pas de plages, ajoutez une liste blanche par expression sur le nom d'agent, en acceptant qu'elle soit usurpable, et compensez par une limite de débit raisonnable plutôt que par un bannissement. Placez ce rafraîchissement dans une tâche hebdomadaire : les plages évoluent.
Sur le serveur web. Vérifiez que la limite de débit ne s'applique pas aux robots vérifiés, ou qu'elle laisse passer une centaine de requêtes par minute, ce qui couvre un crawl d'indexation normal. Vérifiez qu'aucune règle de sécurité (mod_security, règles OWASP) ne rejette ces agents sur la seule base de leur nom, ce qui arrive avec des jeux de règles anciens qui classent « bot » comme suspect.
Chez l'hébergeur. Si vous êtes sur une offre mutualisée ou une plateforme gérée, demandez par écrit la liste des protections anti-robot actives et l'exclusion des agents de votre politique. Gardez la réponse avec la fiche de décision.
4.5 Rendre le contenu lisible
Une fois la porte ouverte, il faut que ce qui se trouve derrière soit exploitable par un lecteur automatique pressé.
Le contenu principal de chaque page doit être présent dans le HTML servi, sans dépendre d'une exécution JavaScript côté client. Les frameworks modernes le permettent tous via le rendu côté serveur ou la génération statique ; vérifiez-le en récupérant une page avec curl et en cherchant votre premier paragraphe dans la réponse brute.
Le plan de site doit être à jour, référencé dans le robots.txt, et refléter la date réelle de dernière modification de chaque page. Les robots d'indexation IA s'en servent pour prioriser. Les balises canoniques doivent être cohérentes, les dates de publication et de mise à jour visibles, l'auteur identifié. Les données structurées (organisation, article, FAQ, produit) aident les moteurs à comprendre de quoi parle la page ; Google précise qu'aucun balisage spécifique n'est requis pour ses fonctions IA, mais un balisage propre reste un avantage pour tous.
Le fichier llms.txt, proposé comme index lisible par les modèles à la racine du site, est adopté par une partie des outils et ignoré par d'autres ; Google indique ne pas en avoir besoin. Il coûte dix minutes et ne nuit pas. Considérez-le comme optionnel. Enfin, pour Copilot, inscrivez le site sur Bing Webmaster Tools et activez IndexNow pour signaler vos mises à jour sans attendre le prochain passage du robot.
4.6 Mesurer
C'est le maillon le plus jeune de la chaîne, et il progresse vite. Trois sources se complètent.
Les logs, avec le script du 4.1 relancé chaque mois, donnent le nombre de passages vérifiés par robot et la liste des pages lues à la demande. Cette seconde liste est précieuse : une page récupérée par ChatGPT-User ou Claude-User est une page qui a servi à répondre à quelqu'un. Elle vous dit quels contenus travaillent pour vous.
Bing Webmaster Tools propose depuis février 2026 un rapport AI Performance, enrichi en juin 2026 de vues par intention, par sujet, de part de citation et de comparaison. Il indique combien de fois vos pages ont été citées dans les réponses de Copilot et des expériences Bing, quelles pages, et surtout les requêtes d'ancrage : les reformulations internes que l'assistant a générées pour trouver votre contenu. C'est la première donnée officielle de ce type publiée par un éditeur majeur, et elle ne mesure que la visibilité, pas les clics. Côté Google, les aperçus IA sont fondus dans le rapport Performance de la Search Console sans isolation ; un rapport dédié est en test depuis juin 2026 sur un périmètre restreint. Ne comptez pas dessus à court terme.
Le panel de questions est la seule mesure qui couvre les quatre assistants. Constituez une liste de vingt à quarante questions que vos clients posent réellement (l'équipe commerciale les connaît), posez-les chaque mois à ChatGPT, Claude, Perplexity et Copilot en navigation privée, et notez pour chacune si votre entreprise est citée, à quelle place, et si ce qui est dit est exact. Un tableur suffit au début ; des outils spécialisés automatisent l'exercice quand le volume le justifie.
4.7 Gouverner dans la durée
La configuration se dégrade toute seule. Un nouveau sous-domaine naît sans robots.txt, une refonte du site repasse en rendu client, un prestataire sécurité réinitialise le pare-feu, le CDN change ses valeurs par défaut, un éditeur renomme un robot. Trois garde-fous suffisent.
Un test automatisé, lancé par l'intégration continue à chaque déploiement, qui vérifie que le robots.txt de chaque hôte contient bien les groupes de la politique et que l'accueil répond en 200 à une requête portant le nom d'agent de chaque robot autorisé. Une revue mensuelle de vingt minutes autour du tableau de mesure. Une revue trimestrielle de la fiche de décision, avec relecture des documentations des éditeurs, dont les noms de robots et les règles changent plusieurs fois par an.
5. Ce que nous appliquons sur nAIvigate
Ce site tourne sur un serveur dédié, derrière Caddy, avec CrowdSec en pare-feu comportemental et sans CDN. Autrement dit, la couche 1 n'existe pas chez nous mais la couche 2 est active, et c'est elle que nous surveillons. Notre protocole mensuel tient en quatre commandes et un tableau.
Nous extrayons des logs JSON de Caddy les passages de chaque robot IA avec leur code de réponse ; nous confrontons la liste des décisions CrowdSec à ces adresses ; nous relançons le test du robots.txt robot par robot sur nos trois URL témoins ; nous lisons le rapport AI Performance de Bing et notre panel de trente questions. Le tout alimente une ligne dans un tableau qui remonte à l'ouverture du site.
Le premier passage complet, fait le 17 septembre 2026 sur sept jours de logs, a donné ceci. Aucun blocage : chaque robot IA a reçu du 200, et aucune adresse d'éditeur ne figurait dans les bannissements de CrowdSec. Mais la répartition des visites disait autre chose que ce que nous supposions. PerplexityBot était passé 1 557 fois, le collecteur de Meta 410 fois, celui d'Amazon 384 fois, Bingbot 126 fois. Googlebot, 11 fois pour plus de cinq cents pages. OAI-SearchBot et ClaudeBot, quatre fois chacun. Et pas une seule lecture à la demande, par aucun assistant, en une semaine. Le fichier robots.txt, généré par le framework, ne nommait que les robots d'entraînement et laissait les autres sur la règle générique ; il interdisait aussi, par un Disallow: /_next/ hérité, le répertoire des feuilles de style et des scripts que Google doit charger pour rendre la page.
Deux enseignements en sont sortis. Le blocage n'était pas notre problème, la priorité de crawl l'était : un site de trois mois n'est pas encore dans la file d'OpenAI ni d'Anthropic, et près des deux tiers du trafic robot IA partaient vers deux collecteurs qui ne renvoient aucune visibilité. Et l'erreur la plus coûteuse n'était pas dans la colonne IA du tableau, mais dans ce /_next/ qui pénalisait le référencement classique depuis la mise en ligne. Le fichier a été réécrit le jour même pour nommer les treize robots de la matrice du chapitre 2 et rouvrir les ressources statiques ; l'inscription à Bing Webmaster Tools et la Search Console sont devenues les deux actions prioritaires du mois. Les blocages qui comptent n'apparaissent jamais dans le fichier que tout le monde regarde, ils apparaissent dans les logs que personne ne lit.
6. Les erreurs que nous voyons le plus souvent
Bloquer GPTBot en croyant se retirer de ChatGPT. Le résultat est inverse de l'intention : le contenu ne sert plus à l'entraînement, ce qui était peut-être voulu, mais le site reste entièrement visible dans les réponses. Si l'objectif était de ne pas y figurer, c'est OAI-SearchBot et ChatGPT-User qu'il fallait traiter, et au niveau réseau pour le second.
Corriger le robots.txt et s'arrêter là. Sur Cloudflare, la règle de blocage héritée continue de s'appliquer à la périphérie ; le robot ne lit jamais le fichier corrigé.
Attendre un effet sur le trafic. La bonne métrique est la citation, pas la visite. Une entreprise bien positionnée dans les réponses peut voir ses visites baisser tout en gagnant des rendez-vous qualifiés, parce que le prospect arrive plus tard dans le parcours et mieux informé.
Produire du contenu pour les robots. Les assistants citent ce qui répond clairement à une question précise, avec des faits datés, des chiffres et un auteur identifiable. Le contenu générique produit en masse est lu, comparé, et écarté au profit d'une source plus nette. Un seul guide de référence complet vaut davantage que cinquante pages tièdes.
Oublier les sous-domaines. La documentation, le blog, l'espace presse ont chacun leur robots.txt et leur configuration CDN. Le domaine principal ouvert et la documentation fermée est une combinaison fréquente, et c'est souvent la documentation qu'on aimerait voir citée.
7. Testez votre compréhension
Votre entreprise veut être citée par ChatGPT mais refuse que son contenu serve à entraîner les modèles d'OpenAI. Quelle configuration robots.txt est correcte ?
📚Lexique (déroulez)
Robot IA (crawler IA) : programme d'un éditeur d'assistant qui lit des pages web. Chaque éditeur en exploite plusieurs, distingués par leur fonction.
Nom d'agent (user-agent) : chaîne par laquelle un robot s'identifie dans chaque requête et dans le robots.txt. Falsifiable, d'où la vérification par adresse IP.
robots.txt : fichier texte à la racine de chaque hôte qui indique, agent par agent, les chemins autorisés ou refusés. Respecté par les robots légitimes, pas par les autres. Spécifié par la RFC 9309.
Groupe spécifique : ensemble de règles adressé à un robot nommé. Un robot nommé applique uniquement son groupe et ignore le groupe générique *.
Indexation : construction en continu d'un index de pages que l'assistant interroge pour trouver des sources.
Lecture à la demande (user-fetch) : récupération d'une page précise déclenchée par la question d'un utilisateur. Certains éditeurs considèrent que le robots.txt ne s'y applique pas.
Entraînement : collecte de contenus destinée à l'apprentissage des futures versions d'un modèle. Sans effet sur la visibilité dans les réponses actuelles.
Requête d'ancrage (grounding query) : reformulation interne générée par un assistant pour rechercher des sources avant de répondre. Exposée dans le rapport AI Performance de Bing.
Google-Extended : jeton de contrôle lu par Googlebot pour refuser l'usage des contenus dans Gemini hors de la recherche. Sans effet sur l'indexation ni sur les aperçus IA.
Aperçus IA et mode IA : réponses générées affichées dans Google Search, alimentées par Googlebot et l'index de recherche.
CDN (réseau de diffusion de contenu) : couche intermédiaire entre l'internaute et votre serveur, qui met en cache et filtre. Cloudflare, Akamai, Fastly. Peut bloquer les robots avant qu'ils atteignent votre serveur.
WAF (pare-feu applicatif) : filtre de requêtes HTTP selon des règles. Peut rejeter un robot sur son seul nom.
Pare-feu comportemental : outil (CrowdSec, fail2ban) qui bannit une adresse IP après détection d'un comportement suspect, par exemple un parcours rapide de nombreuses pages.
Limite de débit (rate limit) : plafond de requêtes par unité de temps, au-delà duquel le serveur renvoie une erreur 429.
Rendu côté serveur : production du HTML complet par le serveur, lisible sans exécuter de JavaScript. Nécessaire pour que les robots voient le contenu.
llms.txt : proposition de fichier d'index à la racine du site, destiné aux modèles. Adoption partielle, non requis par Google.
IndexNow : protocole de notification des mises à jour de pages, utilisé par Bing.
Opt-out TDM : réserve exprimée par un titulaire de droits contre la fouille de textes et de données à des fins commerciales, prévue par la directive européenne sur le droit d'auteur. Doit être lisible par machine.
GEO (Generative Engine Optimization) : ensemble des pratiques visant la présence et la citation dans les réponses générées. Ce guide en couvre la couche d'accès, préalable à tout le reste.
Questions fréquentes
Combien de temps avant de voir un effet ? Une journée pour OpenAI après modification du robots.txt, quelques jours pour les autres, puis le temps que les robots repassent sur vos pages. Comptez deux à quatre semaines avant que le rapport Bing et votre panel bougent.
Faut-il autoriser l'entraînement pour être mieux cité ? Non. Aucun éditeur ne conditionne la visibilité dans ses réponses à l'autorisation d'entraînement, et tous ont séparé les robots précisément pour cette raison.
Un mur de consentement RGPD bloque-t-il les robots ? Si le contenu est présent dans le HTML derrière la bannière, non. Si la bannière retient le contenu jusqu'au clic, oui. Vérifiez avec curl.
Perplexity-User ignore le robots.txt, que faire si je ne veux pas être lu ? Le seul moyen est un blocage réseau, qui bloquera aussi l'utilisateur derrière. C'est une décision à assumer en connaissance de cause, et à limiter aux répertoires réellement sensibles.
Le llms.txt est-il obligatoire ? Non. Il est lu par certains outils et ignoré par d'autres. Il ne remplace en aucun cas un robots.txt correct et un contenu lisible.
Qui doit porter ce sujet dans l'entreprise ? La visibilité relève du marketing, le blocage de la sécurité, l'entraînement du juridique. La fiche de décision existe pour que ces trois fonctions signent le même document au lieu de se contredire dans trois configurations différentes.
Pour aller plus loin
Le Trust Index nAIvigate documente, éditeur par éditeur, ce que chaque fournisseur d'IA fait des données qu'il reçoit ; c'est le complément naturel de ce guide pour la question inverse, celle des données que vous confiez à ces mêmes éditeurs. Notre lexique des termes IA pour la DSI et le RSSI reprend les notions de ce guide dans leur contexte plus large.
Si vous voulez savoir en une demi-journée où votre site se situe réellement, avec le tableau des quatre couches, le robots.txt corrigé et le protocole de mesure prêt à l'emploi, c'est le type de constat que produit un Radar IA.