Cloudflare 从 9 月 15 日起默认屏蔽广告页面上的混合爬虫

从 2026 年 9 月 15 日起，Cloudflare 的默认设置会在所有展示广告的页面上屏蔽所谓的混合爬虫。这类爬虫的特点是，同一家公司既拿它做传统搜索，又拿它跑 AI 任务。公司提前几个月就公布了这一决定。理由是，过去把爬虫分成搜索型和训练型，对网站所有者来说已经不再清晰。

既然互联网上的大部分流量已经不再来自人类，我们就必须走得更远、行动更快，才能形成一个可持续的生态，Cloudflare 联合创始人兼首席执行官 Matthew Prince 说。

这套机制的关键在于区分意图。Cohen 在接受 Press Gazette 采访时解释说，如果一家公司为训练、搜索和代理操作分别运行不同的爬虫，网站所有者就能逐个屏蔽或放行。公布到实施之间留出两个月，是为了给各方调整的时间。

这部分流量有多大

51Degrees 分析了截至 2026 年 5 月的十二个月内超过 30 亿次网页访问。数据显示，被识别为 AI 收割者的会话占比上升了 62.5%，从全部会话的 8% 增至 13%。最活跃的爬虫是 AmazonBot，占 4.1% 的访问。Meta-ExternalAgent 占 2.9%，BingBot 占 1.35%，Anthropic 占 0.19%，OpenAI 占 0.09%，Perplexity 占 0.04%，Google Gemini 占 0.0003%。Cloudflare 此前表示，代理爬虫产生了约 57.4% 的全球流量。

其中一份分析报告的作者指出，这些数字加起来不到总数。原因是 Google 用于搜索和用于为 AI 收集内容的是同一个爬虫，所以它没有被列入统计。一个爬虫、两种用途，正是争议的焦点，也让所谓的“屏蔽”比看上去更难。

影响范围很大，因为 Cloudflare 在网络层面承载着全球约 20% 的网站。使用新工具的已经有《金融时报》、《大西洋月刊》、Ziff Davis、Condé Nast 和美联社。pay-per-crawl 机制正在封闭测试中，也就是按爬虫访问本身收费。出版商报告说，屏蔽加快了授权谈判，无法访问比呼吁自愿付费更有说服力。

对出版商来说，代价是双重的。收割者的流量消耗带宽，AI 给出的回答又夺走了本可以靠广告赚钱的访问。计费机制和可见度面板因此同步发展，因为无法谈判的屏蔽很快就会变成单纯的不可见。