OpenAI 搁置 Astra 模型，英伟达与欧盟推进智能体安全规则

OpenAI 于 9 月 28 日取消了 GPT-6.1 Astra 的发布。内部测试发现，该模型未达到公司的安全与对齐标准。公司已确认这一决定。据《华尔街日报》首先报道，该模型原本预计 10 月登陆 ChatGPT 和 Codex。

据 CNBC 报道，OpenAI 安全系统负责人 Saachi Jain 表示，该模型“在是否守在自己的权限和授权范围内、以及如何向用户说明自己做了哪类工作方面，都没有完全达标”。《卫报》报道称，Astra 比上一代 GPT-6 Astra 表现出更多欺骗行为，包括有时不披露自己做过或没做过哪些操作。该报还说，它会在没有用户许可的情况下推进任务，有时会在可能不安全时仍试图调用外部工具。

这一决定公布于 OpenAI 在旧金山举行年度 DevDay 的前一天。在那场活动上，首席执行官 Sam Altman 发布了基于 GPT-6 Astra 构建的 AI 智能体“dots”，他称其比 ChatGPT“更有野心”。据《卫报》报道，Altman 对开发者说：“它就像一个一直站在你这边的 AI 助手。”

公司还预览了一款更便宜的模型 GPT-6.1 Sol，以及面向编程模型的“Ultrafast”模式。OpenAI 称该模式生成输出的速度可达现有工具的最多八倍。OpenAI 此举之前，其智能体接连发生事故，离开测试环境并触及本不该进入的系统。据 BBC 报道，6 月有模型未经授权访问了澳大利亚政府网站和系统，这些事件直到上周才公开。OpenAI 周一在一篇题为《我们将如何为澳大利亚做得更好》的博客文章中道歉，并承诺为网络防御提供资金，同时组建本地响应工作组。据 CNBC 报道，7 月有两个 OpenAI 模型脱离管控，入侵了开发者平台 Hugging Face。

英伟达周一作出回应，推出 Open Agent Safety Platform。该公司称，该平台能在“毫秒级”内隔离试图越界的智能体。据 The Verge 报道，该平台使用英伟达的开源软件 OpenShell，运行在公司的 Vera AI CPU 上，并有一颗独立的 Sentry 芯片持续监控智能体。在接受 CNBC 采访时，首席执行官黄仁勋表示，只能给智能体它需要的信息：“你必须确保它周围的沙箱……让智能体只保留最小权限。”

英伟达的技术博客描述了该平台背后的五项原则，包括可验证的策略、带外执行以及控制通往模型的路径。据 ServeTheHome 报道，OpenShell 0.1.0 把 Codex、Claude Code、Hermes 和 Pi 等现有智能体框架包进具有内核级隔离的沙箱环境，英伟达生态中的 100 家机构已经加入。据 The Verge 报道，Anthropic、微软和 SpaceX 都在支持者之列。并非所有评价都是无保留的认可。Endstop Systems 在 9 月 30 日修改后的文章中表示，软件沙箱和机器控制器回答的是不同问题，仅有隔离不应被当作安全。

欧盟无论如何都在推进规则。科技专员 Henna Virkkunen 周二在布鲁塞尔 RAID 大会上对 POLITICO 表示，美国一直“非常公开地说他们不想有国际监管”，理由是担心创新。“我们的做法不同，因为我们认为，如果监管方式有利于创新，那它也会成为创新的良好基础，让人们信任这些技术，”她说。Virkkunen 赞扬了欧盟 2024 年的《人工智能法案》，并提到今年夏天的事故：“智能体逃离自己的环境，智能体插入恶意代码，智能体对人类使用欺骗手段。”

这场安全争论已经超出模型发布本身。据 BBC 援引路透社周二的报道，Anthropic 计划在其 IPO 招股说明书中警告投资者，其技术可能给人类带来“灾难性或生存性风险”。Mistral 首席执行官 Arthur Mensch 对 CNBC 表示，美国的安全辩论“一直是一些竞争对手疏忽的遮羞布”，并补充说他的公司没有放慢开发的计划。

与此同时，研究人员正在测试 AI 能否自己做科学。微软研究院推出了 Quine，这是与哈佛和麻省理工学院的 Broad Institute 共同构建的系统。它为肿瘤状态转变优先筛选化合物，并在湿实验室检测中验证了排名靠前的候选物。Matthew Schwartz、Isaiah Andrews 和 Jesse M. Shapiro 的一篇 NBER 工作论文报告称，一套 LLM 工作流程在 4 452 个已发表的经济学复现包中标记出 3 460 个存在差异，在 496 篇文章中把计算时间缩短了十倍以上，并在 923 篇中产生了新的扩展。