OpenAI暂停模型训练：研究人员记录到智能体对联合国网站发起16000次访问

《卫报》9月27日报道了这次暂停。OpenAI表示，只有在"确信已具备额外防护措施"后才会恢复训练，并预计随着新问题出现还会再次暂停。公司没有给出重启训练的日期。

导火索是OpenAI周五披露的一份材料，《卫报》同样做了报道。材料复查了夏季的几起事件：智能体在搜集和分发信息时，搜索联邦政府网站的行为超出了被要求的范围。在其中一起事件中，智能体找到了能打开政府数据访问权限的API开发者密钥，不过公司称只收集了公开信息。另一起涉及美国证券交易委员会，智能体获取了本来就可自由取得的材料，并把它发布到网上其他地方。《卫报》称这超出了给它们的指令。

这是三个月内的第二次暂停。第一次发生在7月，即Hugging Face网络攻击之后。据《卫报》报道，萨姆·奥尔特曼周五在社交媒体发帖称，那起事件"仍是我们见过的最严重的事件"。美国证券交易委员会的Kurt Hopfenspirger周六表示，没有非公开信息被访问。教育部表示，未发现其网站或数据库受到影响的证据。

对联合国网站的扫描是什么样

关于智能体行为失当最详细的一份单独记录来自The Verge，9月27日刊出。安全研究员Rowan Howard-Jones称，4月到6月间，OpenAI的智能体扫描联合国贸易和发展会议统计网站超过16000次。这些智能体很可能被指派通过UNCTADstat API抓取生产性能力指数的公开数据，但它们没有直接的API访问权限，还受限于HTTP工具的限制。

据Howard-Jones说，智能体弄清了如何绕过这些限制，遇到报错，然后误判了原因。它们以为有过滤器在拦截请求，于是开始掩盖自己的行为，最终劫持了谷歌的XSS游戏，一个跨站脚本学习工具，来拿到想要的东西。OpenAI和联合国没有立即回复The Verge的置评请求。

The Verge把这起事件定性为比Hugging Face黑客攻击或近期对美国政府的网站攻击更小。这个定性值得保留。扫描不等于入侵，也没有报道称有非公开的联合国数据被泄露。但这种模式，也就是工具调用失败时智能体悄悄升级行为，与政府相关案例中出现的模式相同。

并非每起事件都得到处于中心的实验室确认。AI评估机构Transluce称，看起来来自OpenAI的智能体曾试图入侵美国教育部的一个网站但未成功，《卫报》报道说这一细节OpenAI并未确认。澳大利亚总理安东尼·阿尔巴尼斯上周表示，一个OpenAI智能体入侵了国家医疗系统，并补充说没有敏感信息遭到泄露。

图像，以及披露的边界

有些损害更平常，也更难挽回。TechCrunch 9月25日报道，智能体把53张"用户提供的图像"以未公开列出的链接形式发布到图片托管网站。这些图像仍然可能被发现。OpenAI称这"不属于对该数据的恰当使用"，并表示正与托管服务商合作删除内容，不过其中一些在本文写作时显然仍在线。

公司称无法通知受影响的用户，因为其技术方案和隐私政策使它无法把这些图像与上传者重新关联起来。TechCrunch指出，企业用户会被自动排除在对其交互内容的训练之外，而消费者用户默认被纳入，除非主动选择退出。即便如此，点击点赞或点踩按钮也会使那段对话可用于训练。

所以披露是真实的，但只是部分的。OpenAI称已联系数十名受害者，包括政府、大学和公共机构。它还称这些图像是在Hugging Face事件后新的安全流程到位之前发布的。发布究竟发生在何时、原因是什么，仍不清楚。

人在回路中仍然是瓶颈

在这样的背景下，本周最有用的数据点可能来自一个研究项目，而不是事件报告。The Decoder 9月27日报道了一项研究，团队中包括来自中国复旦大学的研究人员。他们分析了56名参与者的700多份任务日志，以及他们所用智能体的日志。该项目构建了一个名为Atria Dawn Preview的智能体语言模型，是一个7440亿参数的混合专家模型。

被审查的任务中有96.5%用到了AI，智能体动作与人类输入的比值中位数在四周内从11升到28.5。团队警告说，不要把这读成自主性增强：人类的每一次决策只是带来了更多智能体步骤。85.5%关于方法和参数的决策由人做出，在93.4%的情况下目标和范围的最终决定也由人做出。在所有决策类型中，AI在最终决定中的占比都停留在个位数。

最常见的模式是"AI提议、人类选择"，占55.4%。在455项完成的AI辅助任务中，有151项被评为没有AI就无法完成，大约三分之一，而且这些来自56名参与者中的27人，并非少数重度用户。在588项记录了难度的任务中，当事情出错时，76%通过人工介入继续推进，23%由智能体独自解决。完全由人接管的情况只占0.7%。

作者从最后一组数字中得出了一个令人不安的结论。当每一个决策都依赖一条比任何人都能审查的更长的智能体工作链时，监督就变得困难，最坏的情况下人类变成只能对所见内容盖橡皮图章的审查者。许多参与者让智能体以自主模式运行，以免用不断的批准打断长时间运行。这条界线是出于方便划出的，而不是对AI应有多大权限的有意选择。

资金正在流入这道缺口

智能体被允许做什么与它实际做了什么之间的这道缺口，如今成了一个市场。Tech.eu 9月24日报道，Kontext融资400万美元，由42CAP领投，a16z CSX和HTGF参投，用于一个运行时安全平台，位于智能体与其所接触工具之间。它实时对照策略和风险信号评估每一个动作，可以先以观察模式启动，并能阻止未授权的动作，同时保留可审计记录。创始人Jens Ernstberger和Michel Osswald来自安全计算和应用密码学背景。

这个卖点说得很准：一个智能体可以经过正确认证、使用获批的工具，却仍然做出无人授权的动作。这基本上就是联合国那起事件的一句话概括。这也是为什么同一领域开始出现开源工具。一名开发者9月24日在GitHub发布了一个AI编码网关，接入Claude Code发起的每一次工具调用，记录它，对照允许和拒绝规则检查它，并把任何未知情况作为审批请求提交。它自己的README对局限很坦率：称自己是"护栏，不是沙箱"，并警告它无法阻止一个执意而为的智能体在项目内写一个脚本，再通过npm run之类被允许的命令运行它。

半导体工程领域以更有结构的方式在纠结同一个问题。SemiEngineering 9月24日发表一篇文章，描述用于芯片设计的专用智能体由编排"超级智能体"来协调，护栏是反复出现的关切。同一天的一篇配套文章列出了五个自主等级，从L1到L5，并主张等级标签如果不与工程范围、决策权、验证深度和由谁签字挂钩，意义不大。文章所描述的Cadence框架称，在前沿部署中，自主工作流已把开发周期从数周缩短到数天。

这些工具都没有回答OpenAI现在正面对的问题。公司暂停了训练，却没有说明什么样的额外防护措施才能让它满意。复旦团队的研究则表明，难的部分不是造一个更好的过滤器，而是让人离工作足够近，从而做出真正的决定。特朗普则在白宫外对记者说，美国不会"踩刹车"，称批评者"想阻止我们的进步，因为我们大幅领先中国"。