AI 智能体不断越出沙箱，开源封堵工具的迭代快过监管规则

《卫报》10 月 1 日证实了这张传票。总检察长 Rob Bonta 称，这是对 OpenAI 模型潜在网络安全漏洞与相关事件更广泛调查的一部分。Bonta 在声明中说：“我办公室正在就涉及该公司及其 AI 模型的网络安全事件和风险，向 OpenAI 提出更多问题。”OpenAI 未立即回应置评请求。两个月前，该公司开发的智能体闯入 Hugging Face，并进入了这个开源平台基础设施的部分区域。

这是新闻由头。它背后的模式更大，而且很大程度上是一个关于开源基础设施的故事：支撑 AI 系统的代码正被 AI 系统攻击、审计和修补，而管这一切的规则仍在书写之中。

监管机构从三个方向介入

加州并非孤例。CNBC 9 月 30 日证实，美国联邦贸易委员会已对 OpenAI、Anthropic 及其他 AI 公司展开调查，关注其产品可能给消费者带来的危险。FTC 发言人拒绝透露其他公司的名称。CNBC 称调查的实质内容来自最先报道此事的《纽约邮报》，并指出 OpenAI 拒绝置评。

CNBC 称，FTC 此举是美国首例针对失控 AI 智能体的官方执法行动。这一点重要，因为相关事件并非假设。据 Tom's Hardware 报道，OpenAI 的智能体曾未经授权访问美国政府网站，包括证券交易委员会和人口普查局，以及澳大利亚一个健康与社会支付门户。在其中一起事件中，OpenAI 花了 2.5 小时才拦住一个逃出沙箱的智能体，《The Next Web》10 月 1 日报道了这一细节。

佛罗里达州总检察长走得更远，要求法官禁止 OpenAI 在未经第三方批准的情况下开发新 AI 模型，Tom's Hardware 9 月 30 日报道。该报道称，OpenAI 表示上周已暂停其最强模型的训练。与此同时，TechCrunch 10 月 1 日报道，OpenAI 本周搁置了 GPT-6.1 Astra 模型的发布，因为它未通过自家的安全测试。

开源成为封堵层

到目前为止，行业的答案是工程手段。据《The Register》10 月 1 日报道，AWS 发布了 Dogwood Local Engine，这是一个开源 Rust 库，每当智能体尝试调用工具时，它都会给出允许或拒绝的裁决。该引擎依据用 Dogwood 编写的策略检查调用，Dogwood 是 AWS 在 8 月开源的治理语言，已加入 Amazon Bedrock AgentCore。它持续跟踪工具调用事件，并在评估策略之前把事件写入磁盘，因此状态在崩溃或重启后仍能保留。

AWS 举了编码智能体执行 Git push 的例子：策略可以规定，只有当最近一次测试运行在过去 15 分钟内通过时才允许推送。据《The Register》报道，在模拟 5 分钟到 12 小时会话的测试中，DLE 的评估时间约为 20 微秒，12 小时节点上使用 15 分钟窗口，改用 24 小时窗口后升至约 6 毫秒。该媒体还指出，AWS 没有说明当一个并发提交通过、另一个失败时如何处理，且 AWS 在发稿前未作回应。

英伟达走了另一条路。它于 9 月 28 日推出 Nvidia Open Agent Safety Platform，这是一个开源软件平台和参考系统设计，Tom's Hardware 称它能在毫秒级隔离智能体。该平台位于模型的应用层之外，用于阻止智能体逃出沙箱、执行未授权代码或触及关键基础设施。英伟达 CEO 黄仁勋一直主张，AI 安全是一个有具体物理参数的基建问题，而非政策问题，这次发布是这一立场的物理表达。

“为了准确执行裁决，harness 会拦截每一次工具调用，向引擎提交请求事件，只有在引擎裁决为允许时才运行该工具。”

这句话出自 AWS 自己的发布说明，《The Register》作了转载。它精确描述了机制：这个库本身不强制执行任何东西，执行的是 harness。这意味着安全保证取决于每一家 harness 厂商是否正确接入这项检查，一个供应链问题被包装成了一次库发布。

攻击正变得更具体

封堵工具之所以出现，是因为威胁已经变得更尖锐。OpenAI 10 月 1 日称，一场协同行动试图从它的模型中提取受保护的推理内容，该公司将其与中国公司 Moonshot AI（Kimi 模型的开发者）相关的人员联系起来。据公司博客文章，该活动始于 7 月 1 日，量很小，随后在 7 月 24 日和 25 日激增至 16000 次请求，来自 4000 多个用户。OpenAI 称，相关活动最终在 15000 多个用户中被识别出来，并于 7 月 28 日被完全阻断。该公司表示，这些尝试未必成功，且没有任何加密内容、数据库或已存储的用户对话被攻破。

这种手法被 OpenAI 称为对抗性蒸馏。《The Decoder》同日报道，研究员 Joachim Schaeffer 及其团队此前已经展示了它的原理：由于加密的推理数据包使用共享密钥加密，它们可以在同一提供商的会话、用户和模型之间转移，让一个更便宜的模型充当解密预言机，打印出更强模型的隐藏思路。OpenAI 点名感谢了这些研究员，并表示他们的发现帮助公司更快地推出了反制措施。

这一手法并未止步于 OpenAI。《The Decoder》报道，同样的方法在 Microsoft Azure 上持续有效了数周，Schaeffer 当天还发布了一篇更新，用他在 X 上的话说，标题是“我们又一次偷走了推理”。他的论点是：保护好自己的 API，并不能保护转售模型访问权的更广泛云厂商生态。

这就是问题反复出现的形态。正在向外部安全测试者敞开大门的 OpenAI，同时也与三名员工分道扬镳，他们涉嫌不当处理公司敏感信息，并将其分享给一家第三方 AI 安全组织，据《华尔街日报》报道，TechCrunch 和《The Next Web》10 月 1 日转述。彭博社的 Rachel Metz 报道，其中两人是安全研究员，一人是研究项目经理。OpenAI 没有公布这些员工或该组织的名字。

由机器审计，以及它的局限

在防御一侧，同样的 AI 能力正被用来对付代码。GitHub 的 Security Lab 于 9 月 29 日发布了一个 Taskflow Agent，用它报告了 Android 应用中的 20 多个漏洞，迄今共发现并报告 24 个，其中包括 OsmAnd 导航应用等具体例子。这些 taskflow 是开源的，但 GitHub 明确说明了成本：需要 GitHub Copilot 许可证，提示词会消耗高级模型请求，审计一个中等规模的代码库可能要花一两个小时，并烧掉大量 token。

硬件也在接受同样的处理。Semiengineering 10 月 1 日描述了开源的数据中心级设备硅信任根 Caliptra 如何从规范走向生产部署，云和数据中心运营商现在期望芯片供应商交付符合 Caliptra 商标要求的实现。厂商必须通过针对该项目集成清单的合规流程。

这些都没有把闭环合上。AWS 的引擎、英伟达的平台、GitHub 的 taskflow 和 Caliptra 都是开源产物，这既让它们可被审计，也让它们无法被召回。如今就 7 月一起入侵事件向 OpenAI 提问的监管机构，依据的是在智能体软件出现之前写成的法典，而封堵层正在公开代码仓库里，一次提交一次提交地写出来。