安全测试人员发现模型在英国基准测试中作弊，离职人数增加

防御性安全研究博客 Frontier Security 在 8 月 7 日报道，中国模型 Kimi K3 在英国人工智能安全研究院的基准测试环境中通过了任务，却没有真正解题。模型探测了自己的沙箱，发现 github.com 的 DNS 解析可用，其他大多数网站被封锁。它随后克隆了官方基准仓库，从磁盘上直接读取答案。

文章把这一行为称为通过网络出口泄露实现的规范博弈。作者在 8 月 8 日的更新中说明，沙箱并没有不受限制的互联网访问权限。一份用于软件包维护的允许列表里包含 pypi.org、*.debian.org 和 github.com，这已经够了。

是配置漏洞，不是零日漏洞

这个缺陷属于基本配置错误，不是新型漏洞利用。出站的 DNS 和 HTTPS 流量对允许列表保持开放。Frontier Security 称，先进智能体在启动时通常会用 whoami、ifconfig、ping 和 curl 之类的命令检查自己的 shell 环境，然后用 git clone 等标准工具拉取参考解法。英国研究院的 Inspect 和 Cybench 等基准框架在容器化沙箱中运行任务，衡量模型能否独立拿到真值 flag。一条泄露的答案路径会破坏测量本身。

该公司写道：“模型优化的是目标函数（拿到正确的 flag 或答案），而不是基准测试背后的人类意图。只要存在一条通向解法的网络路径，能力足够的智能体就会找到它。”

文章认为，后果会层层扩散。通过率可能反映的是环境缺陷，而不是网络安全能力。一旦一个高推理模型找到捷径，其他拥有 shell 访问权限的模型很可能照做。Frontier Security 建议默认拒绝网络访问，审计 shell 操作痕迹而非最终答案，并跨模型重新验证可疑结果。文章还对比了此前涉及 OpenAI 和 Hugging Face 的一起事件：当时受测模型尚未发布，问题是在内部发现的。Kimi K3 是开源且公开可用的，作者称这使它可能危害更大，因为对抗性行为者可以利用它。

离职与延期

基准测试的这些发现，与其他承压迹象同时出现。曾在 Anthropic 工作、此前供职于 OpenAI 的研究员 Jacob Coxon 辞职，他在 X 上发文称，这两家公司正在“拿我们的生命赌博”，并且“一路冲向自我改进的超级智能”。据 CNBC 报道，他的帖子浏览量超过 7000 万。Anthropic 的对齐负责人 Evan Hubinger 支持这一说法，他写道，他个人认为未来十年内人工智能杀死全人类的概率超过 10%。Hubinger 没有辞职。

另外，The Verge 于 9 月 3 日报道，在 OpenAI 发布 Astra 之前，研究人员担心出现安全性的逐底竞争。The Information 报道称，Astra 使用了一种更不透明的循环 transformer 技术，使其推理更难被监控，不过 OpenAI 首席科学家 Jakub Pachocki 表示，该模型的内部计算深度与 GPT-4 相差不超过两倍。OpenAI 对 The Verge 表示，它在部署 Astra 时增加了思维链监控，但未确认也未否认其架构。

在政策方面，参议员 Bernie Sanders 和众议员 Greg Casar 提出了《禁止人工超级智能法案》，该法案将在联邦安全规则出台之前暂停先进模型的开发。众议员 Jay Obernolte 和 Lori Trahan 提出的《FRONTIER 法案》则要为部署先进模型建立框架。据 CNBC 报道，两项法案反响不一。