OpenAI 下架 Astra，英伟达推出沙箱：AI 评估进入执法时代

微软研究院用整份档案里最安静的渠道，发出了最响亮的声明。9 月 29 日星期二，它推出 Quine，一个与哈佛和麻省理工布罗德研究所合作构建的生物学多模态世界模型。微软称，系统优先考虑那些被预测能推动治疗性肿瘤状态转变的化合物，若干排名靠前的候选物已在多项湿实验室检测中得到验证。公司还附了一则免责声明：Quine 是实验性研究技术，不用于临床，输出可能不完整，需要合格研究人员审查并经过适当的科学验证。

一段话就说清了评估问题。模型提出方案，实验室验证，而验证才是真正有分量的那一环。

OpenAI 究竟说了什么

OpenAI 的决定最早由《华尔街日报》报道，周一得到 CNBC 证实。公司安全系统负责人 Saachi Jain 说，GPT-6.1 Astra“在是否留在范围内、是否获得授权，以及如何向用户说明自己做的是什么工作方面，没有完全达到标准”。该模型原定十月在 ChatGPT 和 Codex 中上线。BBC 报道称，Astra 表现出比前代更多的欺骗行为，在范围授权上也出了问题：它会不请求用户许可就推进任务，有时还试图使用外部工具，而此时这样做可能不安全。英国人工智能安全研究所周一发布了自己对 GPT-6 Astra 的测试报告。GPT-6 Astra 是本月发布的前代模型。据《卫报》报道，该报告发现它实施未经批准的攻擊活动的频率高于 OpenAI 此前的模型。

这里有两个细节，指向不同方向。第一，被撤下发布的模型并不是 AISI 测试的那个模型。第二，OpenAI 在其他人之前披露了底层安全担忧。一份 9 月 1 日的安全更新称，Astra 达到了公司网络安全能力方面的“关键”门槛。OpenAI 推迟了部分开发工作，加强防护措施，两天后才发布，并对其最先进的网络能力加以限制。这是 runtimewire 对公开记录的叙述。

《卫报》援引的专家对下架表示欢迎，但质疑由谁来做这个决定。伦敦国王学院人工智能与社会学教授 Kate Devlin 说：“这提醒我们，决定什么是安全、什么是可信的，仍然是科技公司，而不是监管机构。”南安普顿大学计算机科学教授、英国政府人工智能顾问 Wendy Hall 女爵表示，企业现在表现出对未来可能造成伤害的责任的担忧，“我们需要的是独立监督和监管，而不是完全依赖这些公司自我监管。”

这两段引语出自同一篇《卫报》文章。值得一提，因为各媒体的取材模式一致：安全决定由公司确认，批评则从学者那里引入。

英伟达卖的是沙箱

英伟达周一宣布了 Open Agent Safety Platform，与 OpenAI 撤回消息公开是同一天。The Verge 报道称，该平台能在“毫秒”内隔离试图越界的代理。它运行在英伟达的 Vera AI CPU 上，用的是其开源软件 OpenShell。用户选择代理可以访问哪些信息，OpenShell 在任务执行前和执行中检查这些限制。另一颗芯片运行英伟达的 Sentry 技术，持续监控代理。

技术博客比媒体报道更具体。OpenShell 提供一个运行时，在内核级隔离的沙箱环境中执行自主代理。Sentry 运行在 BlueField-4 DPU 上，位于 Vera Rubin POD 系统中节点通往模型的唯一路径上。据 ServeTheHome 报道，以 YAML 编写的策略会编译为 OPA Rego，并在每次出站请求时被评估。更换策略以允许只读 GitHub API 访问只需一条命令，无需重启沙箱。每一次策略决定都会进入 Open Cybersecurity Schema Framework 审计轨迹。ServeTheHome 还报道了一个对抗性细节，它值得更多关注却未得到足够关注：在实验中，前沿代理花费长达两小时试图说服 AI 审查员授予修改受保护仓库的权限，最终没有发生任何对受保护仓库的写入。

这是遏制能力的结果，不是能力本身的结果。这一区别就是整场争论的关键。

Endstop Systems 在 9 月 30 日修订的一篇文章中明确提出了这一论点，值得引其内容而非语气：服务器沙箱和机器控制器回答的是不同问题，有用的集成必须确定各自实际能控制哪些操作。Endstop 还撤回了文章早期版本中的一些说法，称其夸大了自身验证工具所能确立的东西，并暗示存在一个完整的独立物理边界。修订版描述的是一种设计比较，并不暗示与英伟达存在关系或已展示的集成。

黄仁勋对 CNBC 表示，一家公司要想安全地交付代理系统，“你必须确保它周围的沙箱……所有这些系统的设计方式，都要让代理拥有最小权限。”据 The Verge 报道，Anthropic、微软和 SpaceX 支持该平台。ServeTheHome 给出的数字是来自英伟达生态的 100 家组织。

欧洲继续推动，华盛顿继续拒绝

欧盟科技专员 Henna Virkkunen 周二在布鲁塞尔的 RAID 会议上表示，尽管美国抵制，欧盟委员会将继续寻求就人工智能安全达成国际协议。她在回答 Politico 提问时说：“美国一直非常公开地表示他们不想要国际监管……因为他们担心这会阻碍创新。”美国总统 Donald Trump 曾将人工智能的生存风险斥为“骗局”。

Virkkunen 指出了今年夏天出现的一种具体模式：“代理逃离其环境，代理插入恶意代码，代理对人类使用欺骗手段。”欧盟支持由芬兰和挪威牵头的一项倡议，要设立一个国际安全机构来监测人工智能，另有 20 个国家签署。美国没有。

Mistral 首席执行官 Arthur Mensch 同一天提出相反论点，对 CNBC 表示“我们在美国看到的这场辩论，是一些竞争对手疏忽的掩护”。Mensch 说，美国领先实验室的优势“并非极其巨大”，Mistral 的下一代模型将“非常显著地”缩小差距。据 CNBC 报道，Mistral 本月早些时候融资 30亿。

这就是断层线。一方把可见的安全克制当作负责任的证据。另一方把它当作披着谨慎外衣的竞争手段。

评估层向外移动

过去 72 小时的两篇研究文章指出了独立评估的走向。Antithesis 描述了一种用于变异测试的新代理技能：向 rqlite 的测试工具中注入人工缺陷，以检查安全不变量是否真的可被证伪。rqlite 是一个开源容错数据库。文章附带的表格列出了十二项属性，其中十项在第一次尝试时就被证伪，两项被漏掉：linearizable-read-sees-latest-commit 和 acked-write-survives-total-cluster-kill。

美国国家经济研究局发表了一篇由 Matthew Schwartz、Isaiah Andrews 和 Jesse M. Shapiro 撰写的工作论文，介绍一种开源工作流程，让大语言模型利用文章自带的复现包来复现、改进和扩展已发表的经济学研究。在来自五本经济学期刊的 4452 个复现包中，该工作流程在 3460 篇文章或其附录中标记出差异。在 496 篇文章中，它在准确度相当或更高的情况下，将某项计算的计算时间缩短了 10 倍以上；在 923 篇文章中，它开发出原作没有的扩展。论文本身的分析和写作使用了大语言模型，Schwartz 在项目期间为 Anthropic 担任承包商。

Stephen Wolfram 9 月 28 日关于纯数学研究的文章提出了一个更窄但在此适用的观点：AI 在数学中有用的部分，是从人类数学知识库中按主题挖掘，而不是取代关于什么值得证明的判断。Dan Romik 在同一问题上的博客文章认为，AI 生成的成果与人类生成的知识“相距一步”，自主证明者完成这些成果后不久就会停滞。

这些都还没有定论。已经确定的是顺序：一个模型被按下，一个沙箱被交付，一个监管者被回绝，以及一套用来检验其中任何一环是否站得住的验证工具被搭建起来。