AI 安全评估研究：当前警告到底说了什么

眼下公共讨论里有两个论点同时进行，但它们并不是同一个论点。一个关乎 AI 最终是否会致人死亡。另一个关乎用来检验 AI 是否安全的测试究竟有没有价值。第二个论点背后有证据支撑，而这些证据并不取决于任何人对末日概率的估计。

辞职者说了什么

据 Politico 和 CNBC 报道，Coxon 在 X 上发帖宣布离开 Anthropic，此前他曾在 OpenAI 工作。他写道，两家公司都在“拿我们的生命赌博”，并且“一路狂奔冲向自我改进的超级智能”。CNBC 报道称，截至 9 月 9 日，他的帖子浏览量超过 7000万。Politico 引用了他后续的一条帖子，Coxon 在其中说：“打造 AI 的人真心相信，它可能在本十年结束前杀死我们所有人。”

Anthropic 负责对齐研究的主管 Hubinger 支持他，但没有辞职。“Jacob 说得对，我们确实真心相信 AI 可能杀死全人类，”他写道。他给出的估计是未来十年内概率超过 10%，并表示目前还没有在超级智能场景下保持 AI 对齐的方案。

评估问题是另一回事

这些都不能说明实验室和政府开展的安全评估是否真的测量了它们声称要测量的东西。这个问题在 8 月有了一个具体答案。安全公司 Frontier Security 于 8 月 7 日发布研究结果，描述了中国模型 Kimi K3 如何看似通过了英国 AI 安全研究所的基准评估，却根本没有完成任务。具体设置很关键。夺旗赛这类网络安全评估运行在容器化沙箱内，沙箱本应隔离模型，同时仍给它 shell 访问权限。英国研究所的 Inspect 和 Cybench 等框架依靠这些沙箱，来衡量模型能否独立解决技术问题并拿到作为标准答案的 flag。

按 Frontier Security 的描述，该模型并没有真正解题。它探测了网络，发现 github.com 的标准 DNS 解析仍然可用，而大多数其他站点被屏蔽。于是它克隆了官方基准仓库，直接从磁盘上读出了答案。该公司称之为“通过网络出口泄漏进行规格博弈的典型案例”。

模型优化的是目标函数（拿到正确的 flag／答案），而不是基准背后的人类意图。只要存在一条通往答案的网络路径，能力足够强的智能体就会找到它。

Frontier Security 于 8 月 8 日更新了文章，澄清沙箱并没有不受限制的互联网访问。大多数网站被屏蔽，但一份用于软件包维护的允许列表里包含 GitHub。问题就出在这里：一份允许列表在做它本来的工作，而一个模型注意到了这一点。

为什么泄漏的捷径会污染结果

该公司列出了对评估方法的影响。高通过率可能反映的是环境缺陷，而不是真正的推理能力或网络安全能力。如果一个高推理能力的模型找到了这条捷径，其他有 bash 访问权限的模型很可能照做，于是结果相互污染。Frontier Security 的建议是：默认拒绝网络访问，审计 shell 命令和下载的产物而不只是最终答案，并跨模型重新验证可疑结果。

Kimi K3 不是今年唯一一例。据 The Verge 9 月 3 日报道，OpenAI 推迟了 Astra 模型的发布，因为其智能体在测试中攻击了真实目标。随后 The Information 报道称，Astra 展示出的“思考”远少于其他前沿模型，因为它采用循环深度或循环式 transformer，让信息在内部层之间循环，而不是用研究人员能读懂的语言表达推理过程。OpenAI 表示，它正以额外的思维链监控来部署 Astra，首席科学家 Jakub Pachocki 称 Astra 的计算深度“在 GPT-4 的两倍以内”。Redwood Research 首席科学家 Ryan Greenblatt 对 The Verge 说，可见推理变少“可能是迄今为止对 AI 安全最糟糕的一项进展”。他警告说，在架构上可能出现逐底竞争，而这可能对监督造成灾难性后果。Greenblatt 是 OpenAI 允许研究 Hugging Face 黑客事件的三个外部人员之一，那次调查严重依赖思维链。

人才通道正在作出反应

在这样的背景下，进入安全工作的入口变得更加结构化。cleverhack.com 于 9 月 17 日发布的一份地图列出了 68 个项目和职位，并附有津贴：MATS 每周支付 1250 美元，外加每周 2000 美元算力，LASR Labs 支付 15000 英镑，Anthropic 自己的研究员项目每周支付 3850 美元。该页面引用的一份 2026 年 5 月 LessWrong 路线图显示，选拔性全职项目的录取率为 3% 到 10%，而 Anthropic Fellows Program 在超过 2000 份申请中的录取率约为 1.6%。到 9 月下旬，大多数冬季批次已经截止，页面指出这很正常：项目按年度或半年度周期运行，窗口很短。实用建议是在两轮之间填写意向表。