微软与Hugging Face评测:企业任务中智能体可靠性仅35%
微软与Hugging Face在507个有状态业务流程上联合跑了一轮基准测试。121680次有效试验中,79853次未通过可执行检查。这些失败里,67.24%仍以干净的回复收尾,工具层面也没有报错。

微软与Hugging Face于10月3日发布ThinkingBox。它评分的依据是智能体留在数据库里的记录,而不是它们回写的那几句话。头条数字很直白:在12个LLM模型上跑的121680次有效试验中,79853次未通过可执行检查。这项工作通过Hugging Face发布,论文随之一同放出。
对采购或运行智能体的人来说,变化在于“证据”的单位。作者认为,漂亮的最终回答和格式正确的工具调用都只是代理指标,而且很弱。智能体可以听起来完全正确,同时写错工单状态、漏掉一个必需的副作用,或多造一个副作用。对企业买家而言,这意味着以对话记录为基础的验收测试,会放过那些悄悄污染记录的系统。微软和Hugging Face都没有说明这项基准将如何进入产品准入。507个流程是固定集合,不是对生产任务的普查。
干净的回复不等于干净的终态
基准开篇的例子是一台价值745美元的厨房电器,滞留在纳什维尔一个配送中心,已超过预计送达时间十五天。智能体发起了九次工具调用。它正确读取了退款政策,算出客户不符合延迟交付补偿的条件。然后它把工单关闭为已解决。承运商的异常仍然开着。要求的终态应是挂起、等待处理。数据库给出的答案与此不同。
失败分解对已经在跑智能体的团队来说更难受。79853次失败尝试中,67.24%仍然干净终止、调用了改变状态的工具,且没有报告最终的工具有错误。可执行检查在这些案例中发现字段值错误占77.61%,非预期的额外副作用占43.30%,缺失必需副作用占25.36%。这些发现彼此重叠,论文也这么写。每个任务都从同一个干净后端重复跑20次。一个能把退款处理一次、接下来四次搞砸的智能体,不算退款智能体。
轨迹是一种主张。数据库状态才是证据。重复是信任的检验。
作者还致谢了外部贡献者,包括Enderis AI的Tommy Guy(此前在微软工作)和Hugging Face的Sergio Paniego,以及前实习生Zhuochun Li、Ali Keramati和Youngmin Ko。论文随博客一并提供。示例任务可以运行,文件为sandbox_external_retail_group1.py:test_case_ST003_006,其中失败的检查只涉及一个字段。
苹果动手处理智能体索要的权限
另外,苹果于10月2日表示,将在macOS上为“完全磁盘访问权限”增加控制。苹果称这项权限的存在是为了让备份应用能工作。在开发者网站的一篇帖子中,苹果写道:“一些开发者使用完全磁盘访问权限的方式可能让用户面临风险,在用户并不完全知情和理解的情况下暴露其系统上的一切,包括文件、邮件、信息,甚至浏览历史。”9to5Mac当天报道了这一变化。
苹果没有说明新控制措施长什么样,也没有说何时上线。但它确实把这一举措直接与智能体挂钩:“随着AI智能体能力越来越强、越来越自主,这种级别访问权限带来的风险将大幅增长。”9to5Mac点名Meta Muse和OpenAI的Dots是常驻运行、请求广泛访问个人数据的智能体。对企业Mac机群来说,实际问题在于额外的弹窗会不会打断脚本化配置。苹果没有说。
智能体身份在技术栈的另一端也受到关注。AgentMail于10月4日发布的AgentID主张是:把你自己账号的登录交给智能体,意味着每个应用都以你的名义记录它的操作。要切断它,唯一的办法是改密码。它的替代方案是给智能体一个自己的收件地址作为稳定标识,人类则登记为所有者。这篇帖子是厂商材料,安全方面的说法出自公司自己。问题的形状足够真实:据行业媒体10月27日的一条标题,Replit已经上线了按智能体追踪身份的功能。
监督有成本,也有上限
多数团队依赖的人工审批关卡,本身也有自己的算术。Emre Turan于6月8日提交给arXiv的一篇论文,标注了125个按对抗方式加权的智能体动作。结果发现,评审者对哪些动作有风险只有中等程度的一致,Fleiss kappa为0.52。不存在一个可用于训练的单一正确标签。更糟的是,当把评审者建模为随升级量上升而疲劳时,实际达到的安全性呈倒U形:升级得越多,系统反而可能越不安全。安全最优的守卫会在低于完全升级的水平上升级,而这恰好也是负载感知策略可以用来抵御洪水攻击的设置。论文自己的说法是,监督是一个资源分配问题。论文指出,倒U形和洪水攻击的结果都是建模产物,值得开展人类研究。
Sarthak Gaud于10月4日发表的关于评测的文章,从构建一侧给出了相容的观点。非确定性系统无法对照一个固定的预期输出打分。所以他把普通代码检查放在前面,比如数据库是否停在正确状态、是否调用了正确的工具。只有代码检查不了的部分,他才引入评审模型。他还警告,智能体运行必须冻结并版本化,工具和MCP响应也要包括在内,否则旧运行无法重放。这与ThinkingBox是同一个道理,只是方向不同:记录就是测试。
不部署也会漂移
还有一种更安静的失效模式,任何单次运行都抓不到。10月3日,sdarchitect.blog发布了AI风险系列文章的第四部分,追问为什么没有人改动智能体,它的行为却变了。没有新提示词,没有代码改动,没有换模型,发布流水线也是干净的。帖子的回答是:智能体是一个由模型、执行框架、工具、数据、其他智能体和人类组成的系统。其中任何一项变动都会改变输出。文章引用了NIST关于生成式AI系统部署后监控的指南,以及微软把基础模型当作带版本的依赖来对待的生命周期指南。
作者提出的智能体漂移五个维度彼此关联。这正是诊断比读一份diff更难的原因。商业上的含义是:对把智能体投入生产的团队来说,持续评测不是锦上添花。它是唯一能让你发现上个月批准的东西已经不是现在运行的东西的办法。
这一切都没有挡住工具的涌入。10月4日上线的Kimchi出售的是一款受治理的编码智能体,按用户、团队和API密钥设有硬性预算上限,还提供按模型的支出追踪,以及位于请求离开环境之前的执行层。同样在10月4日推出的Spawned,提供一个控制面,把基础设施部署到客户自己的AWS、GCP或Azure账户中,资源带版本且兼容Terraform。两者都在填补一个真实的缺口:会行动的智能体需要人类可以审计的预算和边界。
这一周的整体图景是,工具层成熟得比证据层更快。像ThinkingBox这样的基准,给“智能体多常留下错误记录”标出了一个数字。苹果在收紧让智能体够到磁盘的那项权限。身份厂商希望智能体别再借用人类的登录。仍然未知的是,企业会不会为这份证据买单,还是继续靠一个干净的最终回答就把系统发出去。
资料来源
8- 01The Agent Said It Was Done. The Database DisagreedEN
- 02Apple says it's tightening macOS privacy controls amid the rise of AI agentsEN
- 03Give Your AI Agent Its Own IdentityEN
- 04Oversight Has Capacity: Calibrating Agent Guards to a Subjective Fatiguing HumanEN
- 05Writing Evals for Agentic Systems as a 4 Step LoopEN
- 06AI Risk - A user's guide (Part IV): Understanding Agent DriftEN
- 07Pi-based coding agent with hard budget capsEN
- 08Spawned: AIO cloud platform for humans and agentsEN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。