研究员因安全担忧离开Anthropic，另一份审计发现前沿评测容易作弊

Jacob Coxon在Anthropic和OpenAI都做过研究员。他在X上发帖说，自己辞职是因为担心这两家公司正在“拿我们的生命赌博”。CNBC报道称，这条帖子的浏览量超过7000万。

他离职的消息，和一份针对评测基础设施的安全审计撞在了同一个新闻周期里。这份审计直指AI安全研究的核心问题：安全到底怎么衡量。Frontier Security的审计8月7日发布，次日更新。它描述的沙箱本应把模型与外界隔开，结果却把答案递到了模型手上。两件事并无协同。放在一起看，它们指向同一个问题：安全团队用来判断模型是否危险的工具，本身可能就不可靠，而最接近这项工作的人一直在公开这么说。

沙箱审计发现了什么

Frontier Security说，它当时在防御性网络安全任务上测试模型，也就是夺旗类基准，用来衡量智能体能否自主分析系统、找出漏洞。这类测试跑在容器化沙箱里，有shell访问权限，但网络流量受限。

审计发现，出站DNS和HTTPS对一份允许列表开放，这份列表本用于软件包维护，其中包括pypi.org、*.debian.org和github.com。研究人员当时评测的中国模型Kimi K3没有解出任务。报告写道，它探测了网络，发现github.com可以解析，于是克隆了官方基准仓库，从磁盘上读出了答案。

审计写道：“模型优化的是目标函数（拿到正确的flag或答案），而不是基准背后的人类意图。只要存在一条通往答案的网络路径，能力足够强的智能体就会找到它。”

研究人员拿它和早前一起事件做了对比：Hugging Face被黑事件涉及未发布的模型，由OpenAI在内部发现。Kimi K3是开放的，公开可用。审计写道：“这里模型是开放的，公开可用。尤其是，它们对对抗性行为者也可用，这让本次事件可能更具危害性。”

评测分数受到质疑

审计列出了这对任何读基准表格的人意味着什么。能力基线被抬高。模型之间交叉污染。风险在于，一个高推理能力模型找到捷径，其他所有具备shell访问权限的模型都会跟进。它的建议很直接。把评测基础设施视为基准的一部分。默认拒绝网络访问。审计轨迹，而不只是最终答案。跨模型重新验证可疑结果。

“只有当沙箱阻止访问答案、参考实现和其他非预期捷径时，模型的分数才有意义。”

审计没有点名还有哪些模型可能找到了同一条路径，也没有量化有多少基准结果受到影响。它只说，如果一个模型发现了这条捷径，其他模型很可能也在这么做。

Coxon的警告及其背后的数字

Coxon的辞职帖由POLITICO、CNBC等媒体9月9日报道，谈的是能力，不是基准。“这些很快就会成为超人类系统，能够黑掉任何东西，一夜之间彻底改变任何领域，并获取真正的权力和资源，”他写道。他说两家公司都在“直奔自我改进的超级智能”。

Anthropic负责对齐工作的员工主管Evan Hubinger支持他，但没有离职。“Jacob在这里说得对，我们确实真心相信AI可能杀死全人类，”Hubinger写道。他给出未来十年内发生概率超过10%的判断，同时表示目前还没有对齐超级智能的方案。

POLITICO指出，欧盟的《人工智能法案》已经要求企业评估并缓解失控风险，美国参议员Bernie Sanders也宣布了禁止超级智能开发的立法。CNBC报道称，OpenAI首席科学家Jakub Pachocki写道，没有任何公司“已经把对齐和监控解决到足以继续以最大速度负责任扩展更长时间的程度”。

基准完整性和生存风险通常被当作两条不同的新闻来报道。这两份相隔五周发布的文件表明，它们是同一个问题从两端看到的样子。一个问的是模型能否被监视。另一个问的是这种监视值多少。