微软与Hugging Face用79853次未通过检查衡量智能体可靠性
微软与Hugging Face于10月3日发布ThinkingBox。这套基准考核的是AI智能体在数据库中留下的记录,而不是它们写出的回答。在507个业务流程中,121680次有效试验里有79853次未通过可执行检查。

微软与Hugging Face共同搭建了这套基准,相关内容见10月3日发布的Hugging Face博客文章。507个有状态任务各在干净的后端上运行20次,覆盖12个LLM模型。前提很直白:一条写完的回复只是一个说法,数据库才是证据。
这件事的分量取决于你站在哪个位置。把智能体接到计费、工单或库存系统上的团队,能从文章里拿到一个论据。文章说,最终回复和有效的工具调用都只是替代指标,真正该测的是结束时的状态。采购智能体平台的人可以预期,供应商会被追问可重复性,而不只是演示效果。文章和作者都没有说明12个模型里哪个失败最多,也没有说明结果如何对应到任何商业产品。
标题数字很扎眼。一次公共集消融覆盖12个LLM模型的121680次有效试验,其中79853次未通过可执行检查。
结尾干净,记录错误
按照微软与Hugging Face的说明,这些失败里有67.24%仍然干净地结束,调用了改变状态的工具,也没有报告最终的工具有误。可执行检查在其中77.61%的案例里发现字段值错误,43.30%出现意外的额外效果,25.36%缺少必需的效果,这些发现彼此重叠。作者详细拆解了一个取自基准任务的零售案例,文件为sandbox_external_retail_group1.py:test_case_ST003_006。智能体用九次工具调用处理一位客户卡住的745美元厨房电器,并正确读出了退款政策。随后它把工单标记为已解决,而要求的结束状态是挂起。一项字段检查失败。
这套基准对外发布,供其他人运行。它通过OpenEnv执行,文章说读者可以自己跑这个案例。
把智能体评估从聊天质量上拉开的尝试,近期不止ThinkingBox一个。Sarthak Gaud的一篇实践者文章给出了评估的四步循环。冻结每次智能体运行的快照,由领域专家标记每一步正确或错误,把标注汇总成数据集,再把代码检查当作第一道关,之后才引入评判模型。Gaud建议先从大约20次运行起步。这个数字放在507个流程各跑20次面前显得很小,但原则一致:先存下发生了什么,再去检查。
人工监督也有上限
问题的另一半在环里的人。Emre Turan的一篇论文于6月8日发布在arXiv上,认为审批关卡是容易的部分,判断哪些动作该拦下才是难的。在一组人工标注的125个对抗性加权的智能体动作上,评审者对什么算有风险只有中等程度的一致,Fleiss kappa为0.52。把评审者建模为在升级负载下会疲劳,实际达成的安全性随升级率呈倒U形:更多的人工监督反而可能让系统更不安全。论文把倒U形和洪泛攻击建模称为推动后续人类研究的初步结果。
"轨迹是一个说法。数据库状态是证据。重复才是信任测试。"
这句话出自微软与Hugging Face的文章,概括了这次转向。可重复性成了新的测试标准,一次漂亮运行证明不了什么。
有些团队已经在按这个假设重组流程。Alexey Indeev在10月4日写道,他两周内合并了562个拉取请求,没有逐行审查。他依靠的是测试、CI和智能体无法绕过的审查机器人。他自己的提醒是:AI代码是非确定性的,人写的代码也是。
另一些人盯上了另一个会动的部件。10月3日一篇关于智能体漂移的博客文章问,为什么没人动提示词、代码或模型,智能体的行为却变了。它的答案是:模型、运行框架、工具和数据都处在一个系统的系统里,任何一环都可能移动。文章引用了NIST关于生成式AI部署后监控的指南,也引用了微软把基础模型当作带版本依赖的生命周期指南。
工具厂商在不同层面给出回应。苹果在9to5Mac于10月2日报道的一篇开发者博客文章中表示,将增加控制措施,授予完全磁盘访问权限需要用户非常明确的动作。AgentMail在10月4日的一篇文章中主张,智能体应当有自己的收件箱和登录密钥,而不是借用某个人的密码。这样行为出错的智能体可以被切断,而不会把它的主人锁在外面。Kimchi于10月4日上线,卖的是一层执行管控,能在按用户、按团队或按密钥的额度上叫停智能体的花费。
共同点是测量。ThinkingBox对每个任务报告三个数字,文章没有披露12个模型是如何选出的,也没有给出各模型的通过率。
对任何要把智能体接入生产记录的人来说,实用结论很直接。查数据库,不要看对话记录,并且把任务跑不止一次。
资料来源
8- 01The Agent Said It Was Done. The Database Disagreed.EN
- 02Writing Evals for Agentic Systems as a 4 Step LoopEN
- 03Oversight Has Capacity: Calibrating Agent Guards to a Subjective Fatiguing HumanEN
- 04I stopped reviewing my agents' code. Here's what I do insteadEN
- 05AI Risk - A user's guide (Part IV): Understanding Agent DriftEN
- 06Apple says it's tightening macOS privacy controls amid the rise of AI agentsEN
- 07Give Your AI Agent Its Own IdentityEN
- 08Pi-based coding agent with hard budget capsEN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。