微软ThinkingBox测试发现:智能体报告成功,却留下错误记录
微软与Hugging Face于10月3日发布ThinkingBox。该基准测试以AI智能体在数据库中留下的记录作为评分依据。在121680次有效试验、12个模型中,有79853次尝试未能通过其可执行检查。

这个基准测试运行507个有状态的业务流程,每个流程都从完全相同的干净后端出发,重复20次。它不看智能体说了什么,只看它写了什么:字段值、必需效果和副作用。论文由微软与Hugging Face联合发布,公布结果的博客文章日期为10月3日。
失败的数量比通过率更值得关注。在79853次失败的尝试中,有67.24%依然正常收尾,调用了会改变状态的工具,并且没有报告任何最终的工具错误。可执行检查随后发现,这些情况中有77.61%的字段值是错的。非预期的额外效果占43.30%,缺失的必需效果占25.36%,这些类别之间存在重叠。说白了:智能体说自己做完了,并不能证明任何事情真的被做了。
论文中的示例是一位客户,其价值745美元的厨房电器滞留在纳什维尔配送中心的快递异常状态中,已超过预计送达日期十五天。
智能体发起了九次工具调用,把退款政策读了两遍。它查了账户分层,正确地发现该客户不符合延迟送达补偿条件。然后它把工单关闭为已解决。而要求的最终状态是挂起,等待处理。基准测试要衡量的正是这个差距。盯着工具调用的评分者看到的是九次格式正确的调用。检查智能体是否写入数据库的评分者看到的也一样。只有记录本身不同意,而客户体验到的正是记录。
对采购智能体能力的人意味着什么
企业买家现在按完成的任务给智能体定价。ThinkingBox认为,有用的单位是可重复的最终状态。基准测试中的每项任务都从干净后端运行20次。一个智能体把退款正确处理一次,却在接下来四次里搞砸,就不会被算作合格的退款智能体。
目前仍不清楚的是,这些比率会随测试框架设计、工具模式和模型选择发生怎样的变化。公布摘要中的总体数字汇总了12个模型,没有给出分模型明细。
测量问题正同时从几个方向受到关注。6月8日,Emre Turan在arXiv上发布论文,认为人工审批环节只是智能体安全中容易的那部分。在一组人工标注的125个对抗性加权智能体动作上,评审者对什么算有风险的意见仅达到中等一致,Fleiss kappa为0.52。Turan把评审者建模为会随升级负载增长而疲劳。他发现安全性随升级率呈倒U形:更多的人工监督反而可能让系统更不安全。他的论文并未声称其中任何机制是新的,并引用了FALCON和DeCCaF等此前工作。
两种不同的批评落在同一个薄弱点上。
ThinkingBox认为最终回复和有效工具调用都只是代理指标。Turan认为人类评审者并不是无限可用的神谕。两者都指向同一处缺失:一种在智能体及其监督者都可能出错时依然成立的检查。
基准测试周边的工具热潮
厂商已经在卖ThinkingBox所测试的那一层。构建在Pi之上的编码智能体平台Kimchi宣传一个统一的执行层,覆盖支出、数据、部署和模型路由,可按用户、团队、API密钥或模型设置硬性上限。它自己的营销材料显示,一个团队预算为5000美元,已用4820美元;一个用户的额度上限为800美元,已用820美元并触发硬性停止。
Spawned走的是另一条路。它把基础设施部署到客户自己的AWS、GCP或Azure账户中,资源可导出并兼容Terraform。它列出Google Cloud和Kubernetes为可用,Azure为封闭测试。两家公司都没有公布独立结果,说明这些控制是否减少了ThinkingBox所测量的失败模式。预算上限能阻止失控的智能体花钱,却阻止不了它写入错误的工单状态。
智能体可能听起来正确,却留下错误的值、改错记录,或制造额外的副作用。
苹果则在访问权限一侧动手。在其开发者网站的一篇文章中,苹果表示macOS上的完全磁盘访问权限在很大程度上绕过了它的隐私控制。苹果称一些开发者使用它的方式可能让用户面临风险,暴露文件、邮件、信息和浏览历史。苹果表示将增加控制措施,让用户只有通过非常明确的操作才能授予该权限。它没有说明这些控制是什么,也没有说何时推出。
基准测试、arXiv论文和苹果的说明有一个共同点:智能体的输出必须对照智能体之外的某个东西来检查。ThinkingBox把检查放在后端状态里。Turan把检查放在一条可测量的升级曲线上。苹果把检查放在权限提示里。它们没有一个能单独补上这个缺口。
资料来源
10- 01The Agent Said It Was Done. The Database DisagreedEN
- 02Oversight Has Capacity: Calibrating Agent Guards to a Subjective Fatiguing HumanEN
- 03Pi-based coding agent with hard budget capsEN
- 04Spawned: AIO cloud platform for humans and agentsEN
- 05Apple says it's tightening macOS privacy controls amid the rise of AI agentsEN
- 06AI Risk - A user's guide (Part IV): Understanding Agent DriftEN
- 07Writing Evals for Agentic Systems as a 4 Step LoopEN
- 08I stopped reviewing my agents' code. Here's what I do insteadEN
- 09Let AI agents use your site with 3 HTML attributesEN
- 10Give Your AI Agent Its Own IdentityEN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。