Cloudflare blockiert ab 15. September gemischte Bots auf Werbeseiten

Ab dem 15. September 2026 blockiert Cloudflare in den Standardeinstellungen sogenannte gemischte Bots. Das sind Bots, die ein Unternehmen gleichzeitig für die klassische Suche und für KI-Aufgaben einsetzt. Die Blockade gilt auf allen Seiten, die Werbung ausliefern. Cloudflare kündigte sie mit mehreren Monaten Vorlauf an. Die frühere Trennung zwischen Such- und Trainingsbots sei für Seitenbetreiber nicht mehr nachvollziehbar, heißt es zur Begründung.

Wenn der größte Teil des Internetverkehrs nicht mehr von Menschen stammt, müssen wir weiter gehen und schneller handeln, damit ein tragfähiges Ökosystem entsteht, sagte Cloudflare-Mitgründer und Vorstandschef Matthew Prince.

Der Mechanismus setzt auf die Trennung der Absichten. Cohen erklärte im Gespräch mit Press Gazette: Betreibt ein Unternehmen getrennte Bots für Training, Suche und agentische Aufgaben, kann der Betreiber einer Seite jeden einzeln blockieren oder hereinlassen. Die zweimonatige Pause zwischen Ankündigung und Einführung sollte Zeit zur Anpassung geben.

Wie viel Verkehr das ist

Die Daten zum Ausmaß zeigen, warum das Thema zurückkam. Laut einer Analyse von 51Degrees über mehr als 3 Mrd. Zugriffe in zwölf Monaten bis Mai 2026 stieg der Anteil der als KI-Ernteroboter erkannten Sitzungen um 62,5 Prozent, von 8 auf 13 Prozent aller Sitzungen. Der aktivste Bot war AmazonBot mit 4,1 Prozent der Zugriffe. Meta-ExternalAgent kam auf 2,9 Prozent, BingBot auf 1,35 Prozent, Anthropic auf 0,19 Prozent, OpenAI auf 0,09 Prozent, Perplexity auf 0,04 Prozent und Google Gemini auf 0,0003 Prozent der Sitzungen. Cloudflare hatte zuvor angegeben, dass agentische Bots rund 57,4 Prozent des globalen Verkehrs erzeugen.

Die Autorin einer der Analysen weist darauf hin, dass die Zahlen nicht zur Gesamtsumme führen. Google sammelt Inhalte für KI-Zwecke mit demselben Bot wie für die Suche und taucht deshalb in der Aufstellung nicht auf. Genau dieser Fall, ein Bot mit zwei Verwendungen, ist der Kern des Streits. Er ist auch der Grund, warum die Blockade schwieriger ist, als sie aussieht.

Die Reichweite ist groß, denn Cloudflare betreut rund 20 Prozent der Seiten weltweit. Die neuen Werkzeuge nutzen bereits Financial Times, The Atlantic, Ziff Davis, Condé Nast und Associated Press. In einer geschlossenen Beta testet das Unternehmen pay-per-crawl, also eine Gebühr für den bloßen Zugriff eines Bots. Verlage berichten, dass die Blockade Lizenzgespräche beschleunigt. Der fehlende Zugang erwies sich als stärkeres Argument als Appelle an freiwillige Zahlungen.

Für Verlage ist der Aufwand doppelt. Der Verkehr der Ernteroboter verbraucht Bandbreite, und die KI-Antworten nehmen Zugriffe weg, die über Werbung Geld einbringen könnten. Daher entstehen parallel Abrechnungsmechanismen und Sichtbarkeitspanels. Eine Blockade ohne Verhandlungsmöglichkeit würde schnell einfach Unsichtbarkeit bedeuten.