智能体浏览器工具分成两派:智能体能看见什么,又被允许碰什么
Vercel 11 月 3 日发布的 agent-desktop CLI 让智能体读取无障碍树来操作桌面应用,而不是靠像素。就在前一天,Y Combinator 的 Garry Tan 在一档播客里说,他每年在智能体 token 上花 10 万到 20 万美元。
这批材料里最新的智能体工具很小,也不起眼。agent-desktop 11 月 3 日发布,挂在 Vercel 的地址下。它读取桌面应用的无障碍树,以 JSON 返回。智能体能操作的每个元素都会拿到一个引用,可以点击、输入或等待。文档说,这个工具以 CLI 和 C 库的形式提供,支持 macOS、Windows 和 Linux。
文档把适用范围说得很直白。“它不是智能体。观察、操作和验证的循环在调用它的智能体或脚本里,”文档写道。内部没有模型,也没有交互式提示:每条命令打印一个 JSON 信封后就退出。文档也承认了局限。这个工具“读取无障碍树,不做像素匹配,所以看不到不发布无障碍树的界面”。它完全不自动化网页,那部分交给配套的浏览器工具。
两个界面,两套问题
这个分工很关键,因为智能体自动化的网页一侧如今已是法律战场。据 TechCrunch 报道,11 月 2 日星期一,《纽约时报》起诉了 Brave,指控这家浏览器公司抓取其受版权保护的内容,分发给诉讼中点名的 AI 公司:Anthropic、Perplexity、Mistral、xAI 和 Cohere。《每日新闻》、《芝加哥论坛报》和《奥兰多哨兵报》同日在曼哈顿联邦法院提起了类似诉讼。
TechCrunch 对起诉书的描述是,《纽约时报》把 Brave 比作“被盗版内容的供应商、经销商和分销商”。诉讼称,该公司用一个发布商无法屏蔽的身份不明的爬虫,建起了超过 300亿 网页的索引。诉讼还针对 Brave 一项绕过付费墙的功能,以及屏蔽发布商广告却销售自家广告的做法。据 TechCrunch 引用的私募市场追踪数据,Brave 成立于 2015 年,迄今融资约 25000万。时报寻求禁令和损害赔偿。
两件事放在一起看,是从相反的两端描述同一种紧张关系。通过无障碍树做的桌面自动化,仍留在用户已经在运行的应用内部。网页自动化则跨越了发布商的边界,账单正送到法庭上。
谁来为 token 买单
成本是另一个约束,材料里给出了一个数字。Y Combinator CEO Garry Tan 在 Walter Isaacson 的播客 The Builders 中说,他每年花“大概 10万 到 20万 美元在 token 上”。TechCrunch 称这期节目定于周二播出。他运营一个名为 Stray Light 的 YC 内部智能体,掌握这家加速器投资过的每位创始人的背景信息。他说,他个人的智能体读过了他 20年 来的邮件、Dropbox 和 Apple Notes。
Tan 对观感很谨慎。“现在太贵了,”他说,并称自己的开销是“一种疯狂的优待,不是每个人都做得到”。这番话与厂商的说法放在一起显得别扭。Momentic 是 YC W24 的公司,11 月 2 日在 Hacker News 上线。其落地页上宣传已创建 77813 个测试、执行 70607819 次测试运行、捕获 117010 个 bug。它出售用平实英语写的 YAML 测试,编码智能体可以通过 MCP 编写。
证据比营销单薄
独立测量更难找。《麻省理工科技评论》11 月 2 日发表的调查研究发现,分析类智能体产生的洞察中有 48% 带来了改善业务的行动,一年前这个比例是 37%。55% 的高管把缺乏业务背景列为输出质量差的主要原因。该文附有声明:它由该刊的定制内容部门制作,不是其编辑团队。
学术研究还要更谨慎。Akshat Jani、Sakhinana Sagar Srinivas 和 Venkataramana Runkana 10 月 30 日提交到 arXiv 的一篇论文,测试智能体能否为几何创建、网格划分、PDE 求解和导出构建完整可执行的 JSON 规范。在 120 个与模板相关的请求上,完整工作流达到 98.3% 的首轮规范与决策正确率。模式辅助的单次尝试为 92.5%,仅靠模型为 82.5%。在 42 个需要澄清或拒绝的请求中,没有出现错误就绪的决策。但 12 个实时用户到结果的测试中,只有 9 个同时实现了规范、执行、导出和数值参考的成功,即 75.0%。作者还把新响应上的退化列为一个一致性问题。
这个差距才是要记住的数字:模板上近乎完美,实时请求上四分之三。像 agent-desktop 这样的工具通过拒绝猜测消除了一些失败模式。一次成功的操作并不能证明界面变了,所以循环要以一次读取收尾。
对齐研究也在朝类似方向走。《麻省理工科技评论》11 月 3 日报道,研究人员正在探索“逆向博弈论”,即机制设计,去塑造智能体的激励,而不是检查模型内部。报道引用了一篇预印本,作者是 MIT 经济学家 Stephen Morris 以及耶鲁和哥伦比亚的同事,主题是让智能体相互核查以阻止偷懒。Morris 对该刊说:“AI 智能体非常清楚其他 AI 智能体能达成什么。”
这些都没有解决智能体能否被信任去操作浏览器的问题。它确实表明,行业已经不再问它们能不能点击,而开始问它们被允许看见什么。
资料来源
12- 01Vercel: Computer use CLI for AI agentsEN
- 02New York Times and other outlets sue web browser Brave over alleged content scrapingEN
- 03Y Combinator's Garry Tan uses AI agents so much, he spends up to $200K a year on tokensEN
- 04Launch HN: Momentic (YC W24) - Agents that catch bugs by using your appEN
- 05Raising the quality of insights in agentic analyticsEN
- 06From 1D Benchmarks to Complex 3D Geometries: Can Agents Reliably Specify Problems for Automated PDE Simulation?EN
- 07How "reverse game theory" could keep AI agents in checkEN
- 08The Download: controlling AI agents and "Super Intelligence" loyalty testsEN
- 09When Should AI Agents Ask? Clarification Requests Under Limited Human AttentionEN
- 10ReplayRCA: Measuring Post-hoc Diagnosis and Live Oversight of Agent Failures by Counterfactual ReplayEN
- 11The agentic web is hereEN
- 12CyberKord raises EUR2.7M to automate IT and cybersecurity operations with AIEN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。