跳到正文
世界时间EU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

关于人工智能与技术的门户事件 · 分析 · 访谈 · 技术背景

搜索
直播
›

Vercel 发布 agent-desktop:让 AI 智能体操控桌面应用的命令行工具

Vercel 于 11 月 3 日发布 agent-desktop。这是一个命令行工具兼 C 语言库,它把桌面应用的无障碍树读成 JSON,并给智能体提供可以点击、输入和验证的引用。它只针对原生应用,内部不含任何模型。

人工智能与模型分析王雅琴发布: 2026年11月3日4 分钟阅读资料来源 12
Vercel 发布 agent-desktop:让 AI 智能体操控桌面应用的命令行工具

这个工具很小,也很朴素,而这正是它的用意。按照官方文档的说法,agent-desktop 把应用的无障碍树映射成一层浅骨架。调用它的智能体随后可以深入某个区域,对某个引用执行动作,再读一次界面,确认改动确实生效。每条命令都输出一个 JSON 信封,然后退出。

观察、执行、验证这个循环由调用方智能体或脚本负责,不在命令行工具里。Vercel 说得很直接:agent-desktop “不是智能体”,也从不内嵌大模型。

它支持 macOS 13 及以上、Windows 10 1809 及以上、Ubuntu 24.04 及以上。这三个平台分别使用 AX API、UI Automation 和 AT-SPI。60 个命令名称在各平台完全一致。其中四个(key-down、key-up、mouse-down、mouse-up)在所有平台上一律直接失败。文档把局限写得和功能一样仔细。agent-desktop 读取的是无障碍树,不做像素比对,所以不发布无障碍树的界面它根本看不见。它也完全不自动化网页。那项工作交给姊妹工具 agent-browser:当目标是 Chromium 或 Electron 应用时,它连接到 DevTools 端口。

它看不见什么

Vercel 的入场是拥挤赛道上的最新一步。《麻省理工科技评论》11 月 2 日撰文称,智能体化的网络已经到来。同一家媒体 11 月 3 日的 Download 通讯以“逆向博弈论”开场,也就是机制设计,用来让能力强大的模型待在轨道上。按通讯的说法,思路是设计出激励智能体守规矩的系统,而不是去检查它们的内部。

“我们想对齐超级智能,”普林斯顿大学计算机科学教授 Elad Hazan 对《麻省理工科技评论》说,“为什么不先谈谈人类?”

这个框架对 agent-desktop 这类工具很重要,因为它把验证从模型转移到了环境。智能体执行动作后必须把应用读回来,这至少能留下“有东西变了”的证据。

钱和指标

采用是被上层硬推的。Y Combinator 首席执行官 Garry Tan 做客 Walter Isaacson 的播客 The Builders,TechCrunch 报道称该期节目将于周二上线。他说自己一年在 token 上花“大约 100 到 20 万美元”,并以 gstack 之名在 GitHub 上开源了 23 个 Claude Code 技能。他描述自己的智能体会读他所有的邮件、Dropbox 和 Apple Notes,包括可以追溯到 20 年前的治疗笔记。

另一些数字就没那么好看了。《麻省理工科技评论》旗下 Insights 部门 11 月 2 日发布的一份定制报告调查了企业里的分析智能体。报告发现,它们生成的洞察中有 48% 导向了改善业务的行动,一年前这个比例是 37%。报告还发现,55% 的高管把问题归咎于业务背景不足,45% 归咎于数据割裂。这份报告是定制内容,不是编辑部稿件,但它对厂商的说法是个有用的制衡。

研究也在指向执行与正确性之间的同一道缺口。Akshat Jani、Sakhinana Sagar Srinivas 和 Venkataramana Runkana 于 10 月 30 日向 arXiv 提交了一篇论文。论文报告,在 120 个与模板相关的自动化 PDE 仿真请求中,首轮规格说明与决策结果的正确率为 98.3%。作为对比,带 schema 辅助的单次执行为 92.5%,纯模型为 82.5%。在 12 次真实用户到结果的测试中,有 9 次同时达成规格说明、执行、导出和数值参照的成功,即 75.0%。

测试厂商也在往同一个缺口里卖货。Momentic 是 Y Combinator W24 的公司,11 月 2 日在 Hacker News 上线。它的落地页声称已创建 77813 个测试、执行 70607819 次测试运行、8932104 次自动修复、抓到 117010 个缺陷。这些都是公司自己的数字,未经核实。

法律气候

周围的环境正在转向。据 TechCrunch 报道,周一《纽约时报》在曼哈顿联邦法院起诉 Brave。它指控这款浏览器抓取了自己受版权保护的内容,并分发给包括 Anthropic、Perplexity、Mistral、xAI 和 Cohere 在内的 AI 公司。《每日新闻》《芝加哥论坛报》和《奥兰多哨兵报》同一天提起了类似诉讼。《纽约时报》把 Brave 称作被盗内容的 AI“围栏”。它称 Brave 用一个未公开身份的爬虫建起了超过 300亿 个网页的索引。

钱还在流动。Tech.eu 11 月 3 日报道,总部位于米兰的 CyberKord 完成了 270万 欧元 pre-seed 融资,由 360 Capital 领投,Plus Partners、Addendum Capital 和 Vento 参投。这个平台把 AI 与公司 IT 基础设施的数字孪生配对。11 月 2 日,同一家媒体称,由 Veriff 一位联合创始人创办的 Roleo 融资 290万 欧元,用于把一款 AI 职业智能体扩展到整个欧洲。

也不是所有人都在为此招人。SUSE 首席执行官 Dirk-Peter van Leeuwen 在一封内部邮件中告诉员工,公司将裁掉其 1900 人全球员工中的约 10%,理由是自动化和 AI。The Register 最先报道了这封邮件,heise online 于 11 月 2 日跟进。受影响的员工原定周三之前得到通知。一对一面谈下周初开始,11 月 16 日将向其余员工做战略说明。

评论 0

资料来源

12
  1. 01Vercel: Computer use CLI for AI agentsEN
  2. 02The Download: controlling AI agents and "Super Intelligence" loyalty testsEN
  3. 03How "reverse game theory" could keep AI agents in checkEN
  4. 04Raising the quality of insights in agentic analyticsEN
  5. 05The agentic web is hereEN
  6. 06Y Combinator's Garry Tan uses AI agents so much, he spends up to $200K a year on tokensEN
  7. 07New York Times and other outlets sue web browser Brave over alleged content scrapingEN
  8. 08From 1D Benchmarks to Complex 3D Geometries: Can Agents Reliably Specify Problems for Automated PDE Simulation?EN
  9. 09Launch HN: Momentic (YC W24) – Agents that catch bugs by using your appEN
  10. 10CyberKord raises €2.7M to automate IT and cybersecurity operations with AIEN
  11. 11Veriff co-founder's Roleo raises €2.9M to expand AI career agent across EuropeEN
  12. 12„Automatisierung und KI“: SUSE streicht jede zehnte StelleEN

本文所有数字与引语均来自下列来源,未添加来源之外的内容。

本内容由编辑部在人工智能辅助下制作完成。

王雅琴

王雅琴

人工智能、模型与技术

王雅琴负责FLASH24的人工智能、模型与技术报道,覆盖科技、人工智能与模型、媒体与互联网领域。她习惯直接查阅技术文档、模型卡与官方博客,而非依赖新闻稿,对未经核实的参数和跑分数据一概不放行。每篇报道前,她会逐项核对基准测试结果,对照论文原文与开源代码,确认版本号、数据集和评测条件是否一致。她常联系开发者与研究人员求证细节,也盯着各大厂商的发布会和论文截稿日期,横向比较同类模型的实际表现。私下她自建服务、折腾家庭网络,这让她对部署成本和真实算力需求有直观判断。她的原则是:没有可复现来源的数字,不写进稿子。

编辑部 →

评论

0
  1. 还没有评论——来说两句吧。

写评论

评论公开展示。我们不发布辱骂、垃圾信息和广告内容。