Vercel 的 agent-desktop 把智能体自动化带离网页，搬上桌面

最新一款智能体浏览器自动化工具根本不碰浏览器。Vercel 的 agent-desktop 在 11 月 3 日公开文档，它读取桌面应用的无障碍树，并以 JSON 返回。智能体能操作的每个元素都会拿到一个 ref。智能体对 ref 执行操作，再读一次界面确认结果，然后重复。它以命令行工具和 C 库两种形式发布，覆盖 macOS、Windows 和 Linux。

这个设计刻意收得很窄。一次操作成功并不证明界面变了，所以循环以一次读取收尾。里面没有模型，没有图形界面，也没有交互式提示。每条命令打印一个 JSON 信封就退出。它也看不见不发布无障碍树的界面，因为它读的是树，不是比对像素。

无障碍树为什么重要

同一周，heise 播出一期播客，主张前端测试比后端测试更难。在真实浏览器而非模拟环境里渲染组件，能抓到模拟器漏掉的故障。受访开发者 Alexander Opalic 用 Vitest 的浏览器模式在 iframe 里渲染日期选择器、表格和弹窗。他为此付出代价：每次点击约 200 毫秒，而不是 20 毫秒。保真度与速度之间的这笔取舍，正是智能体工具拒绝从截图里猜时做出的同一个取舍。

这个选择的账在别处已经看得见。据 TechCrunch 报道，Y Combinator 首席执行官 Garry Tan 在 Walter Isaacson 的 The Builders 播客上说，他每年在智能体上花“大概 100 到 20 万美元的 token 费用”。他说这笔开销是“一种疯狂的特权，不是每个人都做得到”。廉价、确定性的观察，是压低这张账单的一条路。

智能体需要治理，不只是手

据 InfoQ 11 月 2 日报道，Uber 搭建了一个 MCP 网关，用来治理对 800 多台服务器和 5000 个智能体工具的访问。这些数字说明工具供给不再是瓶颈，控制才是。MIT Technology Review 11 月 3 日关于“逆向博弈论”即机制设计的专题，从对齐一侧给出了同样的论证。与其检查模型在想什么，不如设计规则，让守规则成为赢的那一步。分蛋糕的例子是最直白的版本：一个人切，另一个人先选。

产出质量是另一个未解问题。MIT Technology Review 定制内容部门 11 月 2 日发布的一项调查发现，分析类智能体生成的洞见中，48% 能带来改善业务的行动，一年前这个比例是 37%。缺乏业务背景是洞见质量差的首要原因，55% 的高管这样回答。

基准测试到底显示了什么

10 月 30 日发表在 arXiv 上的学术工作，测试智能体能否把问题说清楚，而不只是点过去。作者报告，在 120 个与模板相关的请求上，首轮规格说明与决策结果的正确率为 98.3%。相比之下，带模式辅助的单次执行为 92.5%，仅靠模型为 82.5%。在同一套流程里，42 个需要澄清或拒绝的请求中没有出现一次误判为就绪。但 12 次真实用户到结果的测试中只有 9 次通过全部四个阶段，通过率 75.0%。

精心挑选的基准与真实使用之间的这道差距，才是值得盯住的数字。厂商交付“手”的速度，快过交付检查的速度。

“语音是服务最难做对的地方，也是对客户最重要的地方，”Salesforce 的 Agentforce 与 Service Cloud 执行副总裁兼总经理 Kishan Chetan 说。

Salesforce 周一宣布同意收购 Cresta，把同样的赌注押在端到端处理通话的语音智能体上。The Information 援引一位知情人士称价格为 27亿美元。Salesforce 没有披露金额，TNW 表示未独立核实该数字。

更小的玩家也在行动。据 Tech.eu 11 月 3 日报道，CyberKord 完成 270万欧元 pre-seed 融资，用于自动化 IT 与安全运营。它用公司基础设施的数字孪生，在真正实施修复前先做模拟。据 Tech.eu 11 月 2 日报道，由 Veriff 一位联合创始人创办的 Roleo 完成 290万欧元融资，用于把 AI 职业智能体扩展到整个欧洲。

桌面是下一个界面。智能体能否在那里被信任，取决于点击之后那一次检查，而不是点击本身。