四家AI实验室共同支持robots.txt训练退出机制，落地时间分散至2027年

发布方只需写明一项训练偏好，不必再为GPTBot、Google-Extended和ClaudeBot分别保留规则。这个标记不产生许可，也不涉及付费。微软对此说得很直接。

一行标记，不新增语法

该标记出自Anthropic标准负责人凯文·凯利（Kevin Kelley）撰写的一份互联网草案。他于2026年10月30日将其提交给IETF的AI偏好工作组。

网站先写User-Agent: __usage_ai-training，再写Disallow: /，以及自己需要的Allow:行。草案自带的示例屏蔽了除/press-kit/目录之外的全部内容。草案没有新增指令名称或语法。从未见过该标记的解析器会跳过这一组。通配组User-Agent: *无法匹配该标记。文件中没有这一组，就等于没有表达任何偏好。

四家公司，四个时间点

微软将从2027年2月1日起遵守这一共同偏好，届时必应会重新抓取页面。谷歌的目标是2027年，其爬虫文档写的是2027年初。OpenAI表示计划在未来几个月内实现该信号。

Anthropic已经开始动手。凯利写道，在其各项服务中提供支持需要时间。他认为出现复杂情况和边界情况在所难免。

谷歌说明了一种具体读法。如果网站用这一共同标记退出，却没有提到Google-Extended，谷歌计划将其视为对Google-Extended的屏蔽。Google-Extended是谷歌自2023年起提供的训练控制项。谷歌搜索倡导者约翰·穆勒（John Mueller）写道，这个标记能帮助网站在一步之内向多家AI提供商表达其AI训练偏好。

是偏好，不是屏蔽

草案称该标记不是针对抓取行为的指令。草案称私人协议可以覆盖通过它表达的偏好。它涵盖用于修改生成式AI模型学习参数的内容。只做分类或排序的模型不在其列。

微软把训练与接地（grounding）分开，后者指AI回答调用实时页面的步骤。其页面级AI Grounding设置包含DisallowExtended选项。该选项把使用范围限制在微软自家产品内，例如Copilot和Microsoft 365，并排除其出售给其他公司的接地服务。微软警告说，屏蔽接地会显著降低品牌在AI生成体验中的可见度。它不改变页面在必应搜索结果中的位置。

发布方为何仍不满意

数字新闻出版商协会正在对OpenAI提起诉讼。案件在印度德里高等法院审理。诉状称，受版权保护的印度新闻报道被抓取用于训练ChatGPT，其中也包括那些曾用robots.txt阻止AI爬虫的网站。

面向未来的偏好管不到这些。

草案的地位很薄弱。IETF的datatracker称，IETF并未认可该草案，它在标准流程中也没有正式地位。草案于2027年5月3日到期。OpenAI称其是协调机制，而非RFC 9309意义上的安全控制。无视robots.txt的抓取器同样会无视它。

接下来会发生什么

网站可以在必应站长工具中记录一项临时接地偏好。该选项从2026年12月15日启用。微软自2023年起使用的NoArchive和NoCache标签，在2027年3月1日之后不再算作训练或接地偏好。

Meta传播负责人安迪·斯通（Andy Stone）对共同信号表示支持。Meta尚未说明其爬虫是否会遵守。谷歌称这一做法与《人工智能法案》下针对通用AI的欧盟行为准则一致。该准则把robots.txt视为发布方表达机器可读偏好的主要方式。