Vercel 发布 agent-desktop:让 AI 智能体操控桌面应用的命令行工具
Vercel 于 11 月 3 日发布 agent-desktop。这是一个命令行工具兼 C 语言库,它把桌面应用的无障碍树读成 JSON,并给智能体提供可以点击、输入和验证的引用。它只针对原生应用,内部不含任何模型。
这个工具很小,也很朴素,而这正是它的用意。按照官方文档的说法,agent-desktop 把应用的无障碍树映射成一层浅骨架。调用它的智能体随后可以深入某个区域,对某个引用执行动作,再读一次界面,确认改动确实生效。每条命令都输出一个 JSON 信封,然后退出。
观察、执行、验证这个循环由调用方智能体或脚本负责,不在命令行工具里。Vercel 说得很直接:agent-desktop “不是智能体”,也从不内嵌大模型。
它支持 macOS 13 及以上、Windows 10 1809 及以上、Ubuntu 24.04 及以上。这三个平台分别使用 AX API、UI Automation 和 AT-SPI。60 个命令名称在各平台完全一致。其中四个(key-down、key-up、mouse-down、mouse-up)在所有平台上一律直接失败。文档把局限写得和功能一样仔细。agent-desktop 读取的是无障碍树,不做像素比对,所以不发布无障碍树的界面它根本看不见。它也完全不自动化网页。那项工作交给姊妹工具 agent-browser:当目标是 Chromium 或 Electron 应用时,它连接到 DevTools 端口。
它看不见什么
Vercel 的入场是拥挤赛道上的最新一步。《麻省理工科技评论》11 月 2 日撰文称,智能体化的网络已经到来。同一家媒体 11 月 3 日的 Download 通讯以“逆向博弈论”开场,也就是机制设计,用来让能力强大的模型待在轨道上。按通讯的说法,思路是设计出激励智能体守规矩的系统,而不是去检查它们的内部。
“我们想对齐超级智能,”普林斯顿大学计算机科学教授 Elad Hazan 对《麻省理工科技评论》说,“为什么不先谈谈人类?”
这个框架对 agent-desktop 这类工具很重要,因为它把验证从模型转移到了环境。智能体执行动作后必须把应用读回来,这至少能留下“有东西变了”的证据。
钱和指标
采用是被上层硬推的。Y Combinator 首席执行官 Garry Tan 做客 Walter Isaacson 的播客 The Builders,TechCrunch 报道称该期节目将于周二上线。他说自己一年在 token 上花“大约 100 到 20 万美元”,并以 gstack 之名在 GitHub 上开源了 23 个 Claude Code 技能。他描述自己的智能体会读他所有的邮件、Dropbox 和 Apple Notes,包括可以追溯到 20 年前的治疗笔记。
另一些数字就没那么好看了。《麻省理工科技评论》旗下 Insights 部门 11 月 2 日发布的一份定制报告调查了企业里的分析智能体。报告发现,它们生成的洞察中有 48% 导向了改善业务的行动,一年前这个比例是 37%。报告还发现,55% 的高管把问题归咎于业务背景不足,45% 归咎于数据割裂。这份报告是定制内容,不是编辑部稿件,但它对厂商的说法是个有用的制衡。
研究也在指向执行与正确性之间的同一道缺口。Akshat Jani、Sakhinana Sagar Srinivas 和 Venkataramana Runkana 于 10 月 30 日向 arXiv 提交了一篇论文。论文报告,在 120 个与模板相关的自动化 PDE 仿真请求中,首轮规格说明与决策结果的正确率为 98.3%。作为对比,带 schema 辅助的单次执行为 92.5%,纯模型为 82.5%。在 12 次真实用户到结果的测试中,有 9 次同时达成规格说明、执行、导出和数值参照的成功,即 75.0%。
测试厂商也在往同一个缺口里卖货。Momentic 是 Y Combinator W24 的公司,11 月 2 日在 Hacker News 上线。它的落地页声称已创建 77813 个测试、执行 70607819 次测试运行、8932104 次自动修复、抓到 117010 个缺陷。这些都是公司自己的数字,未经核实。
法律气候
周围的环境正在转向。据 TechCrunch 报道,周一《纽约时报》在曼哈顿联邦法院起诉 Brave。它指控这款浏览器抓取了自己受版权保护的内容,并分发给包括 Anthropic、Perplexity、Mistral、xAI 和 Cohere 在内的 AI 公司。《每日新闻》《芝加哥论坛报》和《奥兰多哨兵报》同一天提起了类似诉讼。《纽约时报》把 Brave 称作被盗内容的 AI“围栏”。它称 Brave 用一个未公开身份的爬虫建起了超过 300亿 个网页的索引。
钱还在流动。Tech.eu 11 月 3 日报道,总部位于米兰的 CyberKord 完成了 270万 欧元 pre-seed 融资,由 360 Capital 领投,Plus Partners、Addendum Capital 和 Vento 参投。这个平台把 AI 与公司 IT 基础设施的数字孪生配对。11 月 2 日,同一家媒体称,由 Veriff 一位联合创始人创办的 Roleo 融资 290万 欧元,用于把一款 AI 职业智能体扩展到整个欧洲。
也不是所有人都在为此招人。SUSE 首席执行官 Dirk-Peter van Leeuwen 在一封内部邮件中告诉员工,公司将裁掉其 1900 人全球员工中的约 10%,理由是自动化和 AI。The Register 最先报道了这封邮件,heise online 于 11 月 2 日跟进。受影响的员工原定周三之前得到通知。一对一面谈下周初开始,11 月 16 日将向其余员工做战略说明。
资料来源
12- 01Vercel: Computer use CLI for AI agentsEN
- 02The Download: controlling AI agents and "Super Intelligence" loyalty testsEN
- 03How "reverse game theory" could keep AI agents in checkEN
- 04Raising the quality of insights in agentic analyticsEN
- 05The agentic web is hereEN
- 06Y Combinator's Garry Tan uses AI agents so much, he spends up to $200K a year on tokensEN
- 07New York Times and other outlets sue web browser Brave over alleged content scrapingEN
- 08From 1D Benchmarks to Complex 3D Geometries: Can Agents Reliably Specify Problems for Automated PDE Simulation?EN
- 09Launch HN: Momentic (YC W24) – Agents that catch bugs by using your appEN
- 10CyberKord raises €2.7M to automate IT and cybersecurity operations with AIEN
- 11Veriff co-founder's Roleo raises €2.9M to expand AI career agent across EuropeEN
- 12„Automatisierung und KI“: SUSE streicht jede zehnte StelleEN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。