Votre robots.txt n'est pas une serrure : les robots d'IA passent, et OpenAI l'assume

Un fichier robots.txt est une demande, pas une serrure, et les deux plus gros acteurs de la recherche générative l'écrivent désormais dans leur propre documentation. OpenAI indique que les règles de robots.txt « peuvent ne pas s'appliquer » lorsque la visite est déclenchée par un utilisateur de ChatGPT. Google indique de son côté que ses robots déclenchés par un utilisateur « ignorent généralement » les règles de robots.txt. Un site qui croit avoir fermé sa porte aux IA ne l'a pas fermée, et un site qui croit l'avoir ouverte ne l'a pas forcément ouverte non plus.

Que dit exactement la documentation d'OpenAI ?

La documentation publique d'OpenAI distingue trois robots aux règles différentes, et n'en soumet que deux à robots.txt. GPTBot collecte du contenu pour entraîner les modèles, OAI-SearchBot parcourt les sites pour les faire remonter dans les fonctions de recherche de ChatGPT, et ces deux robots se contrôlent depuis robots.txt. Le troisième, ChatGPT-User, se déclenche quand une personne pose une question dans ChatGPT ou lance une action vers un site. Pour celui-là, OpenAI écrit que les règles de robots.txt « peuvent ne pas s'appliquer », au motif que l'action vient d'un humain et non d'un parcours automatique.

Google publie la même distinction sur son centre de documentation pour les développeurs, dans une page dédiée aux robots déclenchés par un utilisateur. Google y écrit que ces robots « ignorent généralement » les règles de robots.txt, précisément parce que la récupération de la page a été demandée par une personne. Google-Agent figure dans cette liste. Anthropic tient une position différente et l'écrit aussi : sa page d'assistance indique que ses trois robots, ClaudeBot, Claude-User et Claude-SearchBot, respectent les directives standard de robots.txt.

Combien de robots passent réellement outre ?

Environ 15 % des robots d'IA de type « fetcher » identifiés sur les sites européens ont atteint des URL que ces sites avaient marquées comme interdites, selon le rapport State of the Bots de TollBit portant sur le premier semestre 2026, relayé par Search Engine Journal le 14 août 2026. Trois robots concentrent l'essentiel du phénomène : ChatGPT-User, Bytespider et Youbot ont atteint des pages interdites sur près de la moitié des sites européens qui les nommaient explicitement, ChatGPT-User arrivant en tête.

Une précision de méthode s'impose avant d'en tirer une conclusion pour votre entreprise. Le panel de TollBit est constitué d'éditeurs de contenu, pas de commerces ni de PME de services. Ces chiffres décrivent donc fidèlement ce qui arrive à des sites de presse et de médias, et ils indiquent une tendance pour les autres, sans la mesurer directement. Le fait vérifiable et opposable, lui, ne dépend d'aucun panel : il est écrit dans la documentation d'OpenAI et dans celle de Google.

Pourquoi les sites européens bloquent-ils moins que les sites américains ?

Les sites européens interdisent nettement moins ces robots que les sites nord-américains, ce qui augmente mécaniquement leur exposition. Toujours selon le rapport State of the Bots de TollBit pour le premier semestre 2026, Claude-User est bloqué par 9 % des sites européens contre 26 % des sites nord-américains, et Perplexity-User par 13 % contre 26 %. L'écart ne dit pas que les sites européens sont imprudents : il dit surtout que la question n'a pas encore été tranchée dans la plupart des entreprises européennes, faute d'avoir été posée.

Qu'est-ce que ça change pour un commerce ou une PME en France ?

Pour l'immense majorité des commerces et des PME françaises, cette actualité ne change rien à la protection du contenu, et beaucoup au risque inverse : celui de bloquer sans le savoir. Un site de dix pages de présentation, une carte de restaurant ou une liste de prestations ne sont pas un patrimoine à murer. Le problème d'un commerce n'est presque jamais d'être trop lu par les IA, il est de ne pas l'être du tout. Or les fichiers qui interdisent l'accès sont souvent arrivés par un réglage par défaut, une extension de sécurité ou une case cochée par une agence, sans décision explicite du dirigeant.

Une échéance concrète rend ce risque immédiat en France comme ailleurs : Cloudflare a annoncé le 1er juillet 2026 qu'à partir du 15 septembre 2026, les robots des catégories entraînement et agent seront bloqués par défaut sur les pages qui affichent de la publicité, les robots de recherche restant autorisés par défaut. Ce nouveau réglage s'applique aux nouveaux domaines arrivant sur Cloudflare. Cloudflare précise aussi que les robots polyvalents, ceux qui combinent recherche et entraînement, sont autorisés ou bloqués selon l'ensemble de leurs comportements, et se retrouvent donc bloqués chez un client qui a choisi de bloquer l'entraînement.

Le contexte français rend l'arbitrage encore moins théorique. Google a lancé officiellement les AI Overviews en France le 22 juillet 2026, dernier grand marché à les recevoir. Et le comportement des internautes français reste une cohabitation, pas un remplacement : selon l'étude OpinionWay réalisée pour SEO.fr en février 2026 auprès de 1 013 personnes, 98 % des Français utilisent encore un moteur de recherche, tandis que 59 % utilisent une IA générative et 54 % ChatGPT. Un site doit donc rester lisible par les deux familles de robots, pas choisir un camp.

Quels robots faut-il distinguer avant de décider quoi que ce soit ?

Trois familles de robots existent, avec trois conséquences commerciales différentes, et les confondre est la source la plus fréquente des mauvaises décisions.

• Les robots d'entraînement, comme GPTBot chez OpenAI ou ClaudeBot chez Anthropic, prennent votre contenu pour entraîner un modèle. Les bloquer ne vous retire d'aucune réponse d'IA : c'est le seul blocage sans coût de visibilité.
• Les robots d'index de réponse, comme OAI-SearchBot chez OpenAI, alimentent les fonctions de recherche des assistants. Les bloquer vous retire de la liste des sources dans lesquelles ces assistants peuvent puiser.
• Les robots déclenchés par un utilisateur, comme ChatGPT-User chez OpenAI ou Google-Agent chez Google, vont chercher une page parce qu'une personne a posé une question. Ce sont ceux dont les documentations d'OpenAI et de Google disent qu'ils peuvent passer outre robots.txt.

Comment savoir ce qui se passe vraiment sur votre site ?

Seuls vos journaux de serveur ou ceux de votre CDN disent ce qui est réellement arrivé sur votre site ; robots.txt ne dit que ce que vous avez demandé. C'est la distinction que rappelle Search Engine Journal dans son article du 14 août 2026, et c'est la seule façon honnête de répondre à la question « est-ce que les IA lisent mon site ». Un audit de fichiers publics, robots.txt inclus, mesure autre chose et le mesure bien : ce que votre site déclare aux moteurs de réponse, c'est-à-dire son éligibilité à être lu et cité. Les deux mesures sont utiles, elles ne répondent simplement pas à la même question, et un prestataire qui vous vend la première en faisant croire qu'elle prouve la seconde vous vend une confusion.

Cette actualité prolonge deux sujets déjà traités sur ce blog. Notre article « llms.txt : la carte de visite que lisent les IA, et ce que ça change pour vos ventes » explique ce que vous pouvez déclarer volontairement aux moteurs de réponse, quand robots.txt ne fait qu'interdire. Notre article « Votre site est-il visible par les IA génératives ? » détaille les signaux qu'un site expose, ou n'expose pas, à ces moteurs. La leçon commune tient en une phrase : ce que vous déclarez publiquement doit être vrai et volontaire, parce que c'est la seule partie de l'équation qui dépend encore de vous.