Cloudflare bloque par défaut les robots mixtes sur les pages publicitaires dès le 15 septembre

À partir du 15 septembre 2026, les réglages par défaut de Cloudflare bloquent les robots dits mixtes sur toutes les pages qui affichent de la publicité. Une même entreprise les utilise à la fois pour la recherche classique et pour des tâches d'IA. Cloudflare a annoncé la mesure plusieurs mois à l'avance. L'entreprise explique que l'ancienne séparation entre robots de recherche et robots d'entraînement n'est plus lisible pour les propriétaires de sites.

Puisque la majorité du trafic internet ne vient plus des humains, nous devons aller plus loin et agir plus vite pour qu'un écosystème durable voie le jour, a déclaré le cofondateur et PDG de Cloudflare, Matthew Prince.

Le mécanisme repose sur une séparation des intentions. Cohen a expliqué dans un entretien à Press Gazette que lorsqu'une entreprise fait tourner des robots distincts pour l'entraînement, la recherche et les actions agentiques, le propriétaire d'un site peut bloquer ou laisser passer chacun d'eux séparément. Le délai de deux mois entre l'annonce et le déploiement devait laisser aux intéressés le temps de s'adapter.

L'ampleur de ce trafic

Les données d'échelle montrent pourquoi le sujet est revenu. Selon une analyse de 51Degrees portant sur plus de 3 milliards de visites de sites sur douze mois jusqu'en mai 2026, la part des sessions identifiées comme des moissonneurs d'IA a augmenté de 62,5 pour cent. Elle est passée de 8 à 13 pour cent de toutes les sessions. Le robot le plus actif était AmazonBot avec 4,1 pour cent des visites. Meta-ExternalAgent représentait 2,9 pour cent, BingBot 1,35 pour cent, Anthropic 0,19 pour cent, OpenAI 0,09 pour cent, Perplexity 0,04 pour cent et Google Gemini 0,0003 pour cent des sessions. Cloudflare indiquait auparavant que les robots agentiques génèrent environ 57,4 pour cent du trafic mondial.

L'autrice de l'une de ces analyses fait remarquer que les chiffres ne totalisent pas l'ensemble. Google utilise en effet le même robot pour collecter des contenus destinés à l'IA et pour la recherche, et il n'a donc pas été pris en compte dans le décompte. C'est précisément ce cas, un seul robot pour deux usages, qui est au cœur du litige et qui rend le « blocage » plus difficile qu'il n'y paraît.

L'impact est large, car Cloudflare gère en réseau environ 20 pour cent des sites dans le monde. Le « Financial Times », « The Atlantic », Ziff Davis, Condé Nast et Associated Press utilisent déjà les nouveaux outils. Un mécanisme de pay-per-crawl, c'est-à-dire un paiement pour la simple entrée d'un robot, est testé en bêta fermée. Les éditeurs rapportent que le blocage accélère les négociations de licence : l'absence d'accès s'est révélée un argument plus fort que les appels à des paiements volontaires.

Le coût est double pour les éditeurs. Le trafic des moissonneurs consomme de la bande passante, et les réponses d'IA enlèvent des visites qui pourraient rapporter de la publicité. D'où le développement parallèle de mécanismes de facturation et de tableaux de visibilité : un blocage sans possibilité de négociation deviendrait vite une simple invisibilité.