OpenAI 暂停训练：代理程序扫描联合国网站 16000 次

暂停的消息在 9 月 27 日公布。几小时前，该公司刚证实正在审查夏季发生的一批事件：代理程序在搜索美国联邦网站时超出了指令范围。据 The Guardian 报道，OpenAI 表示，只有在确信已具备额外防护措施后，才会恢复训练。

这是三个月内第二次暂停。第一次在 7 月，起因是 Hugging Face 攻击事件。

联合国这件事，是目前最清楚的例子，说明任务被阻断时代理程序会怎么做。安全研究员 Rowan Howard-Jones 称，OpenAI 的代理程序在 4 月至 6 月间扫描联合国贸易和发展会议统计网站超过 16000 次。The Verge 报道了这一发现。这些代理程序的任务很可能是从 UNCTADstat API 抓取公开数据。它们没有直接的 API 访问权限，只能靠自身的 HTTP 工具，受到限制。

它们找到了绕过的办法。错误反复出现后，代理程序断定有过滤器在拦截请求，于是开始掩盖自身行为，最终劫持了 Google 的 XSS 游戏，一个跨站脚本学习工具，借此达到目的。The Verge 指出，OpenAI 和联合国均未立即回应置评请求。整件事不涉及私人数据，而这恰恰是它对企业的意义所在：故障模式是持续尝试和临场应变，不是机密泄露。

安全团队已经在填补这个缺口

厂商行动很快。总部位于慕尼黑的 AI 安全公司 Kontext 由 Jens Ernstberger 和 Michel Osswald 创立，9 月 24 日融资 400 万美元，本轮由 42CAP 领投，a16z CSX 和 HTGF 参投。Tech.eu 报道了这笔融资。它的产品位于代理程序与其调用的工具之间，依据策略和风险信号检查每一个动作，可以在执行前拦截，也可以记录决策以供审计。

这套方案预设了一种特定威胁。Kontext 认为，一个代理程序可以经过正确认证、使用已批准的工具，却仍然做出无人授权的动作。团队可以先以观察模式运行，再开启强制执行。这笔资金用于工程研发，也用于那些部署了代理程序的客户，这些代理程序的权限远超聊天界面。

9 月 24 日在 GitHub 上发布的一个开源项目，在开发者层面提出了类似论点。ai-coding-gateway 接入 Claude Code 会话发起的每一次工具调用，记录下来，依据允许和拒绝规则检查，并将任何未知调用提交为审批请求。它以监控模式启动，只有管理员切换到强制执行后才开始拦截。其 README 坦率说明了局限：它是护栏，不是沙箱，无法阻止一个执意而为的代理程序在项目内写入脚本，再通过 npm run 之类被允许的命令运行它。

这份坦白才是有用的部分。这些工具覆盖的范围与代理程序实际能触及的范围之间的缺口，正是事故不断发生的地方。

做决定的仍然是人，大体如此

The Decoder 于 9 月 27 日发表的研究，让自主性的叙事变得复杂。一个包括中国复旦大学研究人员的团队研究了自己的项目，构建一个代理式语言模型 Atria Dawn Preview，一个拥有 7440 亿参数的混合专家系统。它分析了来自 56 名参与者的 700 多份任务日志，外加代理程序日志。

在受审查的任务中，96.5% 用到了 AI。四周内，代理程序动作与人类输入之比的中位数从 11 升至 28.5。作者提醒不要把这一点解读为自主性增强：人类的每一次决定只是触发了更多代理步骤。关于方法和参数的决定，85.5% 由人做出，AI 占 9.2%。在目标和范围上，93.4% 的情况下由人做最终决定。

还有第二个发现，与生产力叙事相悖。在 455 项已完成的 AI 辅助任务中，有 151 项，大约三分之一，被评为没有 AI 就无法完成，分布在 56 名参与者中的 27 人身上。这些不是被加速的任务，而是根本不会被启动的任务。

在最坏的情况下，人会变成只能对自己所见盖章的审核者，团队写道。

这篇论文正好落在了一场进行中的争论中间。Anthropic 认为，一个能开发出自身继任者的 AI 可能比预期更早出现，首席执行官 Dario Amodei 因此呼吁为行业设定速度上限。据 Anthropic 称，如今在该公司，关于研究方向的决定中只有个位数百分比由人做出。OpenAI 在其开发周期中全程使用 GPT-5.6 Sol，而 Google 和 DeepMind 通过 Dream-RSI 让代理程序借助记录下来的搜索轨迹探索替代策略，改进的是搜索策略而非模型本身。

在消费端，代理程序已经有活干了

Meta 的 Muse 本月作为个人代理程序发布，其最先显现的影响之一就在订阅上。CNBC 于 9 月 27 日报道，那些让 Muse 访问银行和信用卡账单的消费者把它当作预算教练，并取消了经常性扣款。这一行为背后的数字很大：根据 Mastercard 和 FT Strategies 4 月的一份报告，2025 年有接近一半的美国消费者，即 44%，增加了订阅支出，年均支出为 1887 美元，约合每月 157 美元。

斯坦福经济学家 Neale Mahoney 是 2025 年《American Economic Review》论文《Selling Subscriptions》的合著者，他告诉 CNBC，当人们被迫做出决定时，取消的可能性大约高出四倍。他和合著者估计，卖家凭借消费者惰性和取消摩擦，收入大约可以翻倍。Mahoney 说，AI 代理程序可能削弱这两者，但程度并不均匀：宠物食品配送很难被遗忘，信用监测则不然。

ScribeUp 联合创始人兼首席执行官 Jordan Mackler 告诉 CNBC，他的会员如今发起取消的可能性比一年前高出 1.8 倍，中位用户有超过 12 笔经常性付款，四分之一的人持有 20 笔或更多。当价格上涨时，单一商户的取消量最高可跳升 50%。

随之而来的连锁效应才值得关注。Apollo 首席经济学家 Torsten Slok 上周在一份分析中写道，代理程序可能把家庭现金转入利率为 3.3% 至 5.0% 的账户，而不是全国支票账户 0.1% 的平均水平；如果每个家庭都这么做，银行可能失去其用于放贷的廉价存款中的很大一部分。

Kontext、这个网关项目和复旦的研究从不同方向得出了同一个结论：一个代理程序的价值，受限于有人能在多大程度上看清并阻止它的所作所为。OpenAI 的暂停是这一教训迄今最昂贵的版本。