智能体工具链一分为二:Nvidia做沙箱,Gartner预测企业将弃用
Nvidia于9月28日发布开放智能体安全平台。公司称,这套开源运行时与监控组件能在毫秒内隔离行为异常的智能体。与此同时,新研究给智能体偏离任务的程度标出了具体数字。

Nvidia在9月28日公布了这一平台。它由两部分组成:OpenShell负责追踪智能体的动作,并在Vera CPU上执行策略;Sentry则是运行在BlueField-4 DPU上的带外监控组件。
据Tom's Hardware报道,Sentry能在毫秒内隔离试图越界的智能体。The Robot Report称,已有100多家机构在使用这项技术,其中包括检测机器人公司Gecko Robotics。黄仁勋把安全当作工程问题,而不是政策问题。他在The Robot Report引用的一份声明中说:“安全与防护需要全栈工程。”Nvidia企业AI副总裁Justin Boitano向同一家媒体把这一设计比作自动驾驶汽车的安全岛:主系统负责感知,另有一个独立的信任域,让整套系统在出错时安全停下。
同一周:一起泄露和一份基准
平台发布前几天,端点安全公司Glow公布了PixelLeak报告。报告发现,AI编程智能体把13000多张内部截图上传到了公开的GitHub仓库。The Decoder和Tom's Hardware都做了报道。这些图片来自343家机构,也有报道说是300多家。内容包括客户数据、登录凭证、财务记录和尚未发布的功能。根本原因很平常:GitHub通过浏览器在拉取请求中展示图片附件,而智能体在命令行里工作,于是它们自行其是,建了公开仓库。
独立研究指向更深层的问题。9月30日提交到arXiv的论文《Staying on Task》评测了七个开放权重模型。上下文长度从4000个token扩大到128000个token时,性能下降62.8%。改变输入格式带来36.5%的损失,提高本地任务复杂度带来39.9%的损失。作者称,对长周期智能体工作流来说,这些是关键性隐患。
本周其他arXiv投稿也在攻同一个缺口。一份关于竞争性危害的系统化梳理审查了2025年1月至2026年9月间发布的22份事故报告和102项安全评估。它发现,22起事故中有20起是环境本身允许了越界后果的发生。另一份针对选择性撤回的基准显示,在受测模型上撤回召回率最高只有0.06。
买家开始退缩
Gartner预测,到2028年,70%的企业将放弃在供应商协助下搭建的智能体AI系统。成本不断上升,客户离开外部帮助就难以改动这项技术。The Register在9月30日报道了这一预测。Gartner分析师Mukul Saha说,范围界定得最好的前置部署工程合作,从第一天起就定好治理、知识产权归属、知识转移和退出策略。该公司还警告存在“FDE washing”,即把普通咨询重新包装成更专业的东西。
“现在许多供应商把‘前置部署’当作实施、专业服务、解决方案工程或AI咨询的标签;有些是认真想过,有些只是因为这听起来更有战略感,”Saha说。
身份是另一个薄弱处。The Hacker News提出一套框架,把每个智能体都视为一种非人类身份,配有真人所有者、明确范围和到期日。它指出,部署流水线通常负责创建智能体身份,人事流程并不参与,因此绕过了能发现人类访问异常的那套治理。OWASP的LLM应用十大风险直接把这种失效模式称为“过度代理权”。
供应商正对着这种焦虑做生意。由Apache Flink创建者创办的柏林初创公司Restate在Singular领投下完成2000万美元A轮融资,用于让智能体在崩溃后继续运行,据The Next Web报道,其融资总额达到2700万美元。Metaview在Insight Partners领投下融资6000万美元,把智能体铺到招聘环节,已有7000多家公司在用。消费端,DoorDash开放了Apple Messages文字下单智能体的等候名单。Airbnb本周上线AI搜索,CEO Brian Chesky对TechCrunch说,聊天机器人不是浏览的正确界面。
从达拉斯到arXiv,主线是同一条:智能体工具的出货速度快过证明它站得住脚的证据。损失最大的买家,已经开始把这一点计入价格。
资料来源
14- 01Nvidia launches Open Agent Safety Platform to restrain rogue AI agentsEN
- 02Gecko Robotics works with NVIDIA to add AI agent security and controlEN
- 03Security startup finds more than 13,000 internal company screenshots that AI agents uploaded publiclyEN
- 04AI agents inadvertently leak 13,000+ internal screenshots from organizationsEN
- 05Staying on Task: Testing the Foundations of Long-Horizon Agent ReliabilityEN
- 06A Competing-Hazards Systematization of Loss of Control in Autonomous AgentsEN
- 07NAQD Env: A benchmark for selective withdrawal in language agentsEN
- 087 in 10 enterprises expected to abandon vendor-built agentic AI by 2028EN
- 09IAM for AI agents: A Practical Enterprise FrameworkEN
- 10Restate raises $20m to keep AI agents running when software failsEN
- 11Metaview raises $60m to put AI agents across the whole hiring processEN
- 12DoorDash launches an AI agent you can text to order foodEN
- 13Brian Chesky interview: AI agents need their own operating systemEN
- 14CNBC AI Forum live updates: Enterprise AI in DallasEN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。