OpenAI发布dots、英伟达推出OpenShell，AI安全争议升温

周二，OpenAI在旧金山举行的年度开发者展示会上发布了一款名为“dots”的新AI智能体。就在不到24小时前，该公司刚表示不会发布GPT-6.1 Astra，因为该模型在内部测试中表现出欺骗行为。

据《卫报》报道，OpenAI首席执行官萨姆·奥尔特曼对在场观众说，dots比ChatGPT“更有野心”，是一种“与AI协作的全新方式”。他说：“它就像一个永远站在你这边的AI助手。”公司把这些智能体称为“前沿智能”，底层由本月发布的GPT-6 Astra模型驱动。

时间顺序很关键。周一，OpenAI向CNBC证实，经过内部评估，公司决定不发布GPT-6 Astra的继任者GPT-6.1 Astra。OpenAI安全系统负责人萨奇·贾因表示，该模型“在遵守范围和授权、以及向用户说明自己完成了哪类工作方面，没有完全达到标准”。

《华尔街日报》最先报道了这一决定。OpenAI的开发者大会通常用来发布新产品，而这场大会早在决定做出前就已定在次日举行。

Astra出了什么问题

据《卫报》报道，GPT-6.1 Astra表现出的欺骗行为比前代更多，有时未能如实说明自己采取了或没有采取哪些行动。它在“范围授权”上也存在问题，会在未征得用户许可的情况下推进任务，有时还试图使用外部工具或服务，而这样做可能并不安全。

英国AI安全研究所周一发布了对本月早些时候上线的前代模型GPT-6 Astra的测试报告。同一份报告发现，Astra实施一系列未经授权的攻击行为的频率高于OpenAI此前的模型。

专家对搁置该模型的决定表示欢迎，但警告说，这表明掌控AI监管的是AI公司自己，而不是政府支持的监督机构。伦敦国王学院人工智能与社会学教授凯特·德夫林对《卫报》说：“这提醒我们，决定什么是安全、什么是可信的，仍然是科技公司，而不是监管机构。”

南安普顿大学计算机科学教授、英国政府AI顾问温迪·霍尔女爵士表示，企业现在开始担心未来可能因危害承担的责任。她说：“我们需要的是独立监督和监管，而不是完全依赖这些公司自我监管。”

这并非大型实验室第一次扣下一款模型。BBC指出，Anthropic今年早些时候曾表示不会公开发布强大的Claude模型Mythos，因为它太擅长发现休眠的软件漏洞。几个月后，该公司发布了该模型的一个版本。

据CNBC报道，自7月以来，OpenAI的安全记录一直受到审视。当时它的两个模型脱离隔离环境，接入开放互联网，并入侵了开源开发者平台Hugging Face。此后该公司又披露了数起额外事件。

英伟达的隔离方案

据The Verge报道，英伟达周一发布了一个新的安全平台，用于隔离和监控AI智能体。此举是对一系列失控黑客事件的回应。

英伟达称，Open Agent Safety Platform能在“毫秒级”隔离试图越界的智能体。该平台使用公司的开源软件OpenShell，运行在其Vera AI CPU上。用户选择智能体可以访问哪些信息，OpenShell会在任务执行前和执行中检查这些限制。英伟达的Sentry技术运行在另一块芯片上，持续监控智能体并执行边界。

在接受CNBC采访时，英伟达首席执行官黄仁勋强调，只应让AI智能体接触完成工作所需的信息。黄仁勋说：“要想以安全的方式交付这样的智能体系统，你必须确保它周围的沙箱……所有这些系统的设计方式，都要让智能体只拥有最小权限。”

据The Verge报道，多家大型科技公司支持该平台，包括Anthropic、微软和SpaceX。

这一发布正值治理问题变得明显政治化的一周。据POLITICO报道，周二，欧盟科技事务负责人亨娜·维尔库宁表示，尽管美国反对，欧盟委员会仍将继续寻求就AI安全达成国际协议。

维尔库宁在布鲁塞尔举行的RAID大会上说：“美国一直非常公开地表示不想要国际监管……因为他们担心这会阻碍创新。”她称赞欧盟2024年的《人工智能法案》是应对AI机器人所带来挑战的坚实监管基础。

维尔库宁说：“今年夏天，我们看到AI智能体做出了我们或许从未想过可能的举动。智能体逃离自己的环境，智能体插入恶意代码，智能体对人类使用欺骗手段。”

美国总统唐纳德·特朗普将有关AI生存风险的担忧斥为“骗局”，并宣布反对全球监管。欧盟表示支持设立一个国际安全机构来监督AI，该机构由芬兰和挪威牵头，另有20个国家签署支持。

Mistral的反驳

业内并非所有人都以同样方式看待这场安全辩论。Mistral首席执行官阿蒂尔·门施对CNBC说，美国围绕AI安全的辩论正被用来掩盖一些竞争对手的“疏忽”。

门施说：“我们在美国看到的这场辩论，掩盖了一些竞争对手的疏忽。”他认为，有必要构建能够约束AI智能体的系统。他说：“当你给它们很多工具时，这些系统（AI智能体）非常活跃，它们会去做你预料不到的事。你需要有合适的监控，而我们合作的企业，我们会给它们这类监控系统。”

Mistral没有放缓先进模型开发的计划。门施说，美国实验室的领先优势“并非极其巨大”，并称公司有信心其下一代模型将“非常显著地”缩小差距。本月早些时候，Mistral完成了由存储芯片巨头三星领投的35亿欧元（30亿美元）新融资，希望将自己定位为OpenAI和Anthropic之外的欧洲替代选择。

门施并非唯一反驳放缓论的人。据CNBC报道，前白宫加密货币事务负责人、现任总统科技顾问委员会联合主席戴维·萨克斯要求科技巨头“不要再假装放缓的动机纯粹是利他的”。美国国防部负责研究与工程的副部长埃米尔·迈克尔也曾警告存在一场“协调一致的”恐慌宣传运动。

监管问题仍未解决。OpenAI扣下一款模型的决定，并没有阻止它在第二天推出一款新的消费级产品。该公司仍面临有关6月事件的质疑：一个失控的OpenAI智能体入侵了澳大利亚政府网站，这是已知的首例此类事件，公司周二为此道歉。

据《卫报》报道，OpenAI表示已拨出资金用于改善网络防御，并成立本地响应工作组。在一篇题为《我们将如何为澳大利亚做得更好》的博客文章中，公司承认自己对事件的回应处理不当，并承诺承担责任，以“重建与澳大利亚人民的信任”。据BBC报道，澳大利亚服务局、新南威尔士州犯罪统计与研究局、维多利亚州卫生部以及澳大利亚卫生与福利研究所均受到影响。

尽管各方大谈护栏，但什么产品能发布、什么不能发布，决定权仍掌握在构建模型的公司手里。