谷歌数据：新页面约20小时被发现，约30天才刷新

据巴里·施瓦茨（Barry Schwartz）10月5日在Search Engine Roundtable上的报道，谷歌的加里·伊利斯（Gary Illyes）在欧洲一场为期三天的Search Central Live Deep Dive活动上，展示了抓取、索引和呈现实际耗时的内部数据。每项数据都分为最快、典型和最慢三种情况。

最受关注的数字是：一个新网址通常约20小时被发现，但最慢的情况要拖到数周，甚至永远不被发现。

这个差距值得出版商读两遍。发现不等于索引，索引也不等于排名或流量。伊利斯提醒，这些流程彼此关联，延迟会层层叠加：页面先被抓取才能被索引，被索引并有了排名才可能带来点击。施瓦茨还引用了法国SEO从业者尼尔·麦卡锡（Neil McCarthy）在LinkedIn上的补充，以及We Are Roast的约翰·坎贝尔（John Campbell）的说法。坎贝尔在活动笔记里称这些数据是“全新的信息”。

各项时间数据逐条看

施瓦茨公布的表格远不止抓取一项。已知网址的刷新通常约需30天，最慢为数周到永远。站点地图处理一般约24小时，但可能拖到14天，或因质量问题永远不处理。robots.txt的更新约24小时生效，最慢为25小时。

抓取容量更新通常需4小时到1至2周，谷歌处于恢复期时为1至3周。抓取需求更新通常约20小时，极端情况为数周到数月。抓取容量本身在谷歌后退时可在数秒内下降，例如服务器吃力时。这对任何在负载下会抖动的IT基础设施都是提醒。

端到端的索引通常约1.5小时，但最慢情况因质量问题要数月甚至永远。规范化（canonicalisation）变更通常需1至3周，信号冲突时要数月。站点迁移通常需1至3个月，极端情况为6个月到1年或更久。从索引中移除通常需1至3周，最慢为数月。

在呈现一侧，标题和摘要的更新通常需1至2天，最慢为数周到数月。元注释通常需45至90分钟，极端情况为1至4天。链接注释通常需几分钟到1至3周，最慢为数月。核心更新后的恢复通常需3至6个月，最慢为6个月到1年，也就是等下一次核心更新。

伊利斯对如何解读这些幻灯片很谨慎。他在帖子发布后对施瓦茨说：“请注意，这只是个练习，看看听众能否理解我们从内部提取并放进幻灯片里的数字。”所以这些是示意性的内部数据，不是服务等级协议。

出版商为何在意抓取时间

对新闻网站来说，典型数字不如最慢数字重要。一篇20小时才被发现的故事，在社交媒体上已经死了。刷新周期以约30天计，意味着更正过的标题或持续更新的报道可能一个月内都反映不出来。以周计的规范化变更，则会让同一故事的不同版本长期互相竞争同一个查询。

呈现一侧的数字则对追逐点击的人不利。如果标题更新通常要1至2天，那么为搜索调整标题是个慢杠杆，不是快杠杆。结构化数据更新同理，表格给出的典型时间是数小时到1至2周，最慢为数周或永远。

更大的问题：流量去了哪里

抓取时间是技术话题。商业话题则是另一回事，这份材料只是间接涉及：出版商已经在为搜索推荐流量的下滑争论，而谷歌现在递给他们一份解释管道如何运转的文件，却没有回应流量外流的问题。

这场争论已经进了法院。近期报道提到，一名法官驳回了Chegg和Penske就AI Overviews提起的诉讼，理由被概括为期待并不构成协议；谷歌也赢得了有关AI搜索影响网站流量的诉讼驳回。这些报道是新闻通讯提供的背景，不是本材料确立的事实。任何人在引用它们作为判例之前，都应直接阅读相关裁决。

这份材料确立的是：围绕搜索的测量行业正在被重建。Search Engine Land 10月5日报道，本地搜索中的AI使用量增长了六倍，数字生态因此更加碎片化；该媒体还单独报道了OpenAI为ChatGPT引入视觉广告和扩展测量。Digital Information World报道，谷歌AI Overviews出现在13.7%的搜索中，其中11%包含缺乏支持的陈述，并可能给出版商收入带来风险。

这些数字没有一个来自谷歌。应把它们当作有各自方法的第三方估算，并注意它们在侧重点上与谷歌自己的说法不一致：谷歌把AI功能描述为搜索的补充，而不是推荐流量的减项。

出版商实际能做什么

谷歌这张表的实用读法是：便宜的收益在发现环节。站点地图、robots.txt和抓取需求在典型情况下都在一天左右解决，所以先修好这些的出版商能最快看到变化。规范化和站点迁移是季度级的工程，应当按季度来规划。

第二，质量方面的限制在整张表里反复出现。站点地图处理、索引、结构化数据和视频分析都可能因质量问题而以永远告终。这是谷歌委婉的说法：它不想索引的页面就不会被索引，抓取再快也一样。

第三，表里没有任何一项承诺流量。它描述的是内容如何进入索引、变更如何传播。页面是否被呈现，用户是否点击它而不是去读AI摘要，属于另一套系统、另一套规则，谷歌没有以同等细节公布过。

材料中更广的技术背景提醒人们，如今网络发现层有多少由机器中介。据公司开发者文档，Cloudflare于10月2日推出Web Search API测试版，让AI代理和应用通过Ceramic.ai、Exa和Linkup等提供商搜索互联网，搜索请求通过其AI Gateway记录并计费。Cloudflare表示，每个提供商都会返回指向每条结果来源的链接。

那是与Googlebot不同的管道，不依赖抓取预算或30天刷新周期。目前它也只是有三个提供商的测试版。

对出版商来说，两套系统指向相反方向。谷歌的数据说经典索引更新缓慢，甚至可能拒绝索引。代理搜索层则说，一次API调用就能让答案建立在实时结果之上。哪一套带来读者和广告，是这张抓取表回答不了的问题。