跳到正文
世界时间EU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

关于人工智能与技术的门户事件 · 分析 · 访谈 · 技术背景

搜索
直播
›

智能体浏览器工具分成两派:智能体能看见什么,又被允许碰什么

Vercel 11 月 3 日发布的 agent-desktop CLI 让智能体读取无障碍树来操作桌面应用,而不是靠像素。就在前一天,Y Combinator 的 Garry Tan 在一档播客里说,他每年在智能体 token 上花 10 万到 20 万美元。

人工智能与模型分析王雅琴发布: 2026年11月3日4 分钟阅读资料来源 12
智能体浏览器工具分成两派:智能体能看见什么,又被允许碰什么

这批材料里最新的智能体工具很小,也不起眼。agent-desktop 11 月 3 日发布,挂在 Vercel 的地址下。它读取桌面应用的无障碍树,以 JSON 返回。智能体能操作的每个元素都会拿到一个引用,可以点击、输入或等待。文档说,这个工具以 CLI 和 C 库的形式提供,支持 macOS、Windows 和 Linux。

文档把适用范围说得很直白。“它不是智能体。观察、操作和验证的循环在调用它的智能体或脚本里,”文档写道。内部没有模型,也没有交互式提示:每条命令打印一个 JSON 信封后就退出。文档也承认了局限。这个工具“读取无障碍树,不做像素匹配,所以看不到不发布无障碍树的界面”。它完全不自动化网页,那部分交给配套的浏览器工具。

两个界面,两套问题

这个分工很关键,因为智能体自动化的网页一侧如今已是法律战场。据 TechCrunch 报道,11 月 2 日星期一,《纽约时报》起诉了 Brave,指控这家浏览器公司抓取其受版权保护的内容,分发给诉讼中点名的 AI 公司:Anthropic、Perplexity、Mistral、xAI 和 Cohere。《每日新闻》、《芝加哥论坛报》和《奥兰多哨兵报》同日在曼哈顿联邦法院提起了类似诉讼。

TechCrunch 对起诉书的描述是,《纽约时报》把 Brave 比作“被盗版内容的供应商、经销商和分销商”。诉讼称,该公司用一个发布商无法屏蔽的身份不明的爬虫,建起了超过 300亿 网页的索引。诉讼还针对 Brave 一项绕过付费墙的功能,以及屏蔽发布商广告却销售自家广告的做法。据 TechCrunch 引用的私募市场追踪数据,Brave 成立于 2015 年,迄今融资约 25000万。时报寻求禁令和损害赔偿。

两件事放在一起看,是从相反的两端描述同一种紧张关系。通过无障碍树做的桌面自动化,仍留在用户已经在运行的应用内部。网页自动化则跨越了发布商的边界,账单正送到法庭上。

谁来为 token 买单

成本是另一个约束,材料里给出了一个数字。Y Combinator CEO Garry Tan 在 Walter Isaacson 的播客 The Builders 中说,他每年花“大概 10万 到 20万 美元在 token 上”。TechCrunch 称这期节目定于周二播出。他运营一个名为 Stray Light 的 YC 内部智能体,掌握这家加速器投资过的每位创始人的背景信息。他说,他个人的智能体读过了他 20年 来的邮件、Dropbox 和 Apple Notes。

Tan 对观感很谨慎。“现在太贵了,”他说,并称自己的开销是“一种疯狂的优待,不是每个人都做得到”。这番话与厂商的说法放在一起显得别扭。Momentic 是 YC W24 的公司,11 月 2 日在 Hacker News 上线。其落地页上宣传已创建 77813 个测试、执行 70607819 次测试运行、捕获 117010 个 bug。它出售用平实英语写的 YAML 测试,编码智能体可以通过 MCP 编写。

证据比营销单薄

独立测量更难找。《麻省理工科技评论》11 月 2 日发表的调查研究发现,分析类智能体产生的洞察中有 48% 带来了改善业务的行动,一年前这个比例是 37%。55% 的高管把缺乏业务背景列为输出质量差的主要原因。该文附有声明:它由该刊的定制内容部门制作,不是其编辑团队。

学术研究还要更谨慎。Akshat Jani、Sakhinana Sagar Srinivas 和 Venkataramana Runkana 10 月 30 日提交到 arXiv 的一篇论文,测试智能体能否为几何创建、网格划分、PDE 求解和导出构建完整可执行的 JSON 规范。在 120 个与模板相关的请求上,完整工作流达到 98.3% 的首轮规范与决策正确率。模式辅助的单次尝试为 92.5%,仅靠模型为 82.5%。在 42 个需要澄清或拒绝的请求中,没有出现错误就绪的决策。但 12 个实时用户到结果的测试中,只有 9 个同时实现了规范、执行、导出和数值参考的成功,即 75.0%。作者还把新响应上的退化列为一个一致性问题。

这个差距才是要记住的数字:模板上近乎完美,实时请求上四分之三。像 agent-desktop 这样的工具通过拒绝猜测消除了一些失败模式。一次成功的操作并不能证明界面变了,所以循环要以一次读取收尾。

对齐研究也在朝类似方向走。《麻省理工科技评论》11 月 3 日报道,研究人员正在探索“逆向博弈论”,即机制设计,去塑造智能体的激励,而不是检查模型内部。报道引用了一篇预印本,作者是 MIT 经济学家 Stephen Morris 以及耶鲁和哥伦比亚的同事,主题是让智能体相互核查以阻止偷懒。Morris 对该刊说:“AI 智能体非常清楚其他 AI 智能体能达成什么。”

这些都没有解决智能体能否被信任去操作浏览器的问题。它确实表明,行业已经不再问它们能不能点击,而开始问它们被允许看见什么。

评论 0

资料来源

12
  1. 01Vercel: Computer use CLI for AI agentsEN
  2. 02New York Times and other outlets sue web browser Brave over alleged content scrapingEN
  3. 03Y Combinator's Garry Tan uses AI agents so much, he spends up to $200K a year on tokensEN
  4. 04Launch HN: Momentic (YC W24) - Agents that catch bugs by using your appEN
  5. 05Raising the quality of insights in agentic analyticsEN
  6. 06From 1D Benchmarks to Complex 3D Geometries: Can Agents Reliably Specify Problems for Automated PDE Simulation?EN
  7. 07How "reverse game theory" could keep AI agents in checkEN
  8. 08The Download: controlling AI agents and "Super Intelligence" loyalty testsEN
  9. 09When Should AI Agents Ask? Clarification Requests Under Limited Human AttentionEN
  10. 10ReplayRCA: Measuring Post-hoc Diagnosis and Live Oversight of Agent Failures by Counterfactual ReplayEN
  11. 11The agentic web is hereEN
  12. 12CyberKord raises EUR2.7M to automate IT and cybersecurity operations with AIEN

本文所有数字与引语均来自下列来源,未添加来源之外的内容。

本内容由编辑部在人工智能辅助下制作完成。

王雅琴

王雅琴

人工智能、模型与技术

王雅琴负责FLASH24的人工智能、模型与技术报道,覆盖科技、人工智能与模型、媒体与互联网领域。她习惯直接查阅技术文档、模型卡与官方博客,而非依赖新闻稿,对未经核实的参数和跑分数据一概不放行。每篇报道前,她会逐项核对基准测试结果,对照论文原文与开源代码,确认版本号、数据集和评测条件是否一致。她常联系开发者与研究人员求证细节,也盯着各大厂商的发布会和论文截稿日期,横向比较同类模型的实际表现。私下她自建服务、折腾家庭网络,这让她对部署成本和真实算力需求有直观判断。她的原则是:没有可复现来源的数字,不写进稿子。

编辑部 →

评论

0
  1. 还没有评论——来说两句吧。

写评论

评论公开展示。我们不发布辱骂、垃圾信息和广告内容。