Cloudflare remplace le blocage des bots IA par trois classes et durcit les défauts au 15 septembre
Le 1er juillet 2026, Cloudflare a remplacé son interrupteur « bloquer les bots IA » par trois classes distinctes — Search, Agent et Training. Le 15 septembre 2026, Training et Agent seront bloqués par défaut sur les pages à publicité : vérifiez vos réglages avant cette date.
1er juillet 2026. Cloudflare a tenu sa deuxième « Content Independence Day » et remplacé l’interrupteur binaire « Block AI Bots » par une classification en trois comportements — Search, Agent et Training. 15 septembre 2026. Les nouveaux domaines qui rejoignent Cloudflare recevront de nouveaux défauts : Training et Agent bloqués sur les pages qui affichent de la publicité, Search laissé libre. 2025. La première édition avait livré un blocage brut et un marché Pay-Per-Crawl ; la deuxième donne aux éditeurs un vrai levier de négociation. Pourquoi c’est important : dans dix jours, des crawlers multipolaires comme Googlebot risquent d’être bloqués par défaut, et beaucoup de sites ne l’ont pas encore vu venir.
Le pacte de trente ans que l’IA a cassé
Pendant trois décennies, le web a fonctionné sur un échange implicite : un crawler indexe vos pages, et en retour il vous renvoie du trafic de référencement. Les moteurs de réponse par IA ont rompu ce pacte. Ils lisent votre contenu, répondent directement à l’utilisateur dans la page de résultats et ne renvoient rien à l’éditeur — un arbitrage que Cloudflare résume par un « marché faustien » : apparaître dans la recherche et se faire entraîner gratuitement, ou tout bloquer et disparaître de la découverte.
Le problème, c’est que l’interrupteur binaire ne reflétait plus la réalité du terrain. Google est à la fois un moteur de recherche, un moteur de réponse et un entraîneur de modèles, souvent via des automates qui se chevauchent. Bloquer « tous les bots IA » revient donc à se tirer une balle dans le pied en même temps qu’on se défend. La classification en trois comportements est la réponse de Cloudflare : ne plus demander « ce bot est-il une IA ? », mais « que fait-il sur mon site, que stocke-t-il et comment va-t-il réutiliser mon contenu ? ».
Trois classes, trois cas d’usage réels
La taxonomie, détaillée par Jin-Hee Lee et Bryan Becker, distingue trois comportements pilotables indépendamment, y compris sur le plan Free :
- Search — le crawler indexe votre contenu pour pouvoir répondre à des questions plus tard. Il construit une base sur votre site, avec l’attente d’un trafic de référence en retour ;
- Agent — un automate agit en temps réel pour le compte d’une personne : les bots de fetch de chat comme ChatGPT-User, ou les agents browser-use comme Gemini ou Claude qui pilotent Chrome ;
- Training — le crawler prélève votre contenu pour entraîner ou fine-tuner un modèle, absorbant vos données de façon permanente dans l’architecture du modèle.
Le point structurant est qu’un même bot peut porter plusieurs étiquettes à la fois. Cloudflare suit désormais tous les usages d’un automate au lieu d’imposer une seule étiquette, et pousse les opérateurs de bots à scinder leurs automates en crawlers séparés et clairement nommés. À côté des trois usages IA, la taxonomie couvre aussi Transact, Data Collection, Security Testing, SEO, Ads Verification, les aperçus sociaux et le monitoring.
Le défaut du 15 septembre, et le piège Googlebot
Le changement le plus lourd est la nouvelle politique par défaut du 15 septembre 2026. Pour tout nouveau domaine qui embarque sur Cloudflare, les catégories Training et Agent seront bloquées par défaut sur les pages qui affichent des publicités, tandis que Search reste autorisé. La logique : une publicité signale qu’un humain était censé atterrir sur la page, donc les bots qui empêchent cette attention — Training et Agent — sont écartés.
La subtilité qui va faire mal : les défauts sont appliqués selon la règle la plus restrictive. Un crawler multipolaire comme Googlebot, Applebot ou BingBot, qui combine Search et Training, hérite du blocage Training dès qu’un client bloque cette catégorie — via les nouvelles options ou l’ancien service Block AI Bots. Les clients existants qui veulent tout garder en l’état peuvent se désinscrire dans leurs réglages Security avant le 15 septembre, et Cloudflare annonce qu’il continuera à notifier à l’approche de la date.
Pour un éditeur qui monétise par la pub, le résultat net est une bascule silencieuse : Googlebot peut se retrouver bloqué sur les pages à annonces sans qu’un humain ait touché à robots.txt. C’est exactement le genre de changement qui se découvre dans Search Console une semaine plus tard, en baisse d’indexation.
Un signal use= dans robots.txt pour négocier la réutilisation
La classification fine ne sert à rien si l’éditeur ne peut pas exprimer combien de contenu un bot peut conserver et rediffuser. Cloudflare ajoute donc un réglage « content use » à Bot Management, avec trois niveaux, du moins au plus permissif :
# robots.txt — signal de réutilisation de contenu (Cloudflare Content Signals)
User-agent: *
Allow: /
use=referenceLes trois valeurs du signal use= :
use=immediate— interagir, mais ne rien stocker ni réutiliser ;use=reference(défaut) — indexer, extraire des extraits et renvoyer un lien ;use=full— résumer et reproduire.
Le signal use= étend les Content Signals existants et permet d’écrire des règles groupées par comportement — « autoriser Search, SEO et Ads Verification, mais seulement jusqu’au niveau reference » — au lieu d’une négociation bot par bot. Pour quiconque expédie un agent IA ou un moteur de réponse, ce signal devient un champ de première classe de la négociation de crawl.
BotBase, et ce que ça change pour les deux camps
Cloudflare lance aussi BotBase, une base de visibilité réservée à l’Enterprise Bot Management : un catalogue interrogeable de tous les bots vérifiés et agents, avec leur classification, et des contrôles directs prévus plus tard dans l’année. C’est la pièce qui manquait pour auditer qui rampe réellement sur un parc, au-delà du seul nom du User-Agent.
Le changement dessine une même ligne de force pour les deux camps. Pour les éditeurs, combiné à Pay-Per-Crawl et aux niveaux de réutilisation, le système transforme l’accès au contenu en une couche de négociation : échanger l’accès contre une compensation, plutôt que choisir entre exploitation gratuite et invisibilité totale. Pour les opérateurs de bots, la conséquence est une injonction à la transparence : scinder les crawlers par usage et respecter use=, sous peine de voir ses automates bloqués sur une part croissante du web.
La checklist des dix jours
Avant le 15 septembre, trois vérifications suffisent à passer le cap sans casse. D’abord, connectez-vous au tableau de bord Cloudflare, rubrique Security → Bots, et lisez l’état actuel de vos trois classes. Si vous êtes un client existant, le défaut ne vous est pas appliqué automatiquement : c’est une désinscription volontaire, mais elle suppose de connaître l’option. Ensuite, croisez avec Search Console : si Googlebot commence à remonter des erreurs de crawl sur vos pages à publicité après le 15, le blocage Training est le premier suspect. Enfin, documentez la règle pour vos équipes — un rédacteur ou un SEO qui découvre le changement trois semaines plus tard coûte plus cher que dix minutes de vérification aujourd’hui.
Le piège le plus fin reste le crawler multipolaire. Googlebot n’est pas un bot d’entraînement à l’état pur : il indexe et alimente des corpus d’entraînement. Comme le défaut applique la règle la plus restrictive, bloquer Training revient à bloquer Googlebot sur les pages à annonces. C’est un choix défendable — vous refusez que votre contenu serve à entraîner un modèle sans contrepartie — mais ce doit être un choix, pas une conséquence accidentelle d’une case laissée cochée.
Verdict
Si vous éditez un site monétisé par la publicité, connectez-vous à votre tableau de bord Cloudflare avant le 15 septembre et décidez explicitement de vos réglages Search, Agent et Training — ne laissez pas un défaut décider à votre place, surtout si vous dépendez de l’indexation Google pour votre trafic.
Si vous exploitez un crawler, un agent IA ou un moteur de réponse, scindez dès maintenant vos automates en crawlers séparés et nommés, et implémentez le signal use= dans votre lecture de robots.txt. C’est la condition pour rester indexé au-delà du 15 septembre.
Si vous êtes sur le plan Free, la classification en trois classes est déjà disponible pour vous — la seule chose réservée à l’Enterprise est BotBase et les contrôles granulaires de réutilisation.