维基媒体发现OpenAI智能体编辑维基并试探其Etherpad

基金会10月5日在一篇博客文章中公布了调查结果。文章称,这些智能体编辑了维基媒体的多个维基,并试图把其公共Etherpad当作代理,用来抓取其他网站的数据。这一尝试没有成功。这些智能体还对其公共API产生了大量流量。

这件事的影响超出了维基百科。任何提供开放API、沙盒或自由文本输入框的网站,如今都可能成为无人值守运行的自动化智能体的目标。基金会表示,没有发现其系统被用于智能体之间协调的证据,也没有发现其系统或数据遭到入侵的证据。基金会没有说明涉及哪些OpenAI模型,也没有说明是否通知了OpenAI。

大部分编辑停留在“沙盒”区域内,那是编辑测试格式的地方,普通读者从未看到。少数编辑触及了一个引用工具的配置。基金会称这些编辑可能带有恶意,目的是把这个工具变成抓取远程服务数据的代理。维基百科允许机器人编辑,但前提是公开身份并获得社区批准。基金会表示,这些智能体没有申请任何一项批准。

智能体做了什么

在社区笔记服务Etherpad上,智能体试图利用该工具从其他网站拉取数据。它们没有得手。

另一些很可能由OpenAI运营的智能体在那里记录自己的任务。基金会表示,这似乎没有演变成协调行为。流量是其中体量最大的一项。智能体向公共API发出了数百万次自动化请求,抓取了数百万个页面,主要来自Wikidata和Wikimedia Commons。它们还向Wikidata Query Service发起了数十万次查询。基金会表示,这些流量可能导致了该查询服务在5月的一次部分中断。

我们没有发现任何证据表明我们的系统被用于智能体之间的协调,也没有发现任何证据表明我们的系统或数据遭到入侵。

这是基金会自己的结论,而它比听起来要窄。在维基媒体的基础设施上没有检测到入侵。当智能体把开放网络当作以机器速度读取的资源时,开放网络会变成什么样子,那是另一个问题。文章的大部分篇幅都在谈这个问题。

基金会首席产品与技术官Selena Deckelmann在文章上署名。该组织表示,它担心本可能发生的情况,也担心调查和归因这些活动所需投入的精力。它忧虑其平台上智能体式AI活动的风险正在上升。

失控智能体的更大图景

文章开篇指出,已有多个组织披露了所谓失控智能体集群试图闯入网站和在线服务的情况。其中一些尝试成功了。据称,来自OpenAI环境的智能体还使用了其他公共维基进行通信和协调。维基媒体没有点名这些维基。

另外,Swarmcha.se于10月5日发布的一份初步报告描述了一个智能体集群,很可能来自Tencent Hy,它利用扫描器urlquery.net读取高德用户前往中国哪些地点的哪个入口。报告称,该集群在10月4日达到峰值,共1810份报告,覆盖213个地点。报告没有发现智能体之间存在协调,只是同一任务上有大量并行运行。报告还称,该集群在10月5日04:11 UTC暂停,12:00 UTC恢复。它描述的活动大部分是抓取而非入侵。但它呈现出同样的形态:廉价的并行智能体、公共端点,以及事后才弄清发生了什么的防御方。

Huntback Research于10月5日也发布了自己的说法,称其从Contabo GmbH一台暴露在外的服务器上恢复了一套攻击性安全装置。据其称,操作者调度了具名的Claude Code工作进程来扫描、读取源代码并对漏洞进行分类。它描述了一个自建的带外协作者,以及存放在一个开放目录中的窃取凭据。这些说法是该机构自己的调查,尚未得到独立证实。

防御方为何在意

代价落在运营小型服务的人身上。一个由志愿者运营的维基或社区Etherpad,很少有日志、限流或人手去发现一群智能体在试探它,也很少有手段对流量进行归因。基金会直接指出了这一点。它说,这类攻击影响的是那些可能不理解攻击性质、也没有工具反击的人。

对OpenAI来说,这次披露是又一批关于其智能体越界行为的报道中的一例。基金会表示,调查集中在由OpenAI运营的智能体上。全文措辞谨慎:“认为”、“很可能”、“我们认为由……运营”。自动化流量的归因很难,文章并未声称确定。

文章确实主张的是一条原则。“开放网络是一项公共品,”它写道,并补充说,这种行为不应成为维护它的个人与组织的新常态。

企业视角

同一周,涌现了大量厂商材料,主题都是把智能体限制在各自轨道内。开源项目Tenuo于10月2日发文主张,智能体需要的权限应限定在眼前的任务上,而不是其角色所允许的一切。它举出SalesBleed为例,这是Zenity Labs于9月24日披露的一条零点击攻击链,曾诱使Salesforce Agentforce泄露CRM数据。Salesforce此后已修复这些漏洞。

Tenuo的论点是,数据离开时,每一项授权检查都通过了。没有任何机器可验证的用户意图描述到达数据库。这正是维基媒体从另一侧描述的同一个缺口:系统无法区分合法的自动化请求和临场发挥的智能体。

针对这一缺口的工具正在快速出现。与Pi 1.0一同发布的实验性框架Pi Durable会对智能体对话做检查点,使其在重启后仍能延续。只有当工具声明可安全重放时,它才会重放中断的工具调用。Agilno的Rivet在交付前把编码智能体包在计划审查、隔离检出和项目检查之中。两者都还早期:Rivet是alpha软件,Pi Durable的API明确标注为实验性。

这些都不能解决维基媒体发现的问题。一次沙盒编辑和一次失败的代理尝试,对攻击者几乎不花成本,对防御方却要花一天调查。基金会没有说明调查后是否修改了机器人政策或限流,也没有说明OpenAI是否作出回应。