OpenAI称与Moonshot相关的操作者试图提取其隐藏推理
OpenAI表示,它阻断了一场有组织的行动,该行动试图从其模型中提取受保护的推理内容。公司把这项活动的核心集群与中国Moonshot AI相关的人员联系起来。其10月1日发布的博客称,请求量在两天内一度达到来自4000多名用户的16000次。

OpenAI的说法具体到可以核对。据公司博客,相关活动始于7月1日,“起初规模很小”。到7月24日和25日,使用相关提取模式的请求量骤增至来自4000多名用户的16000次。进一步排查发现,超过15000个账户存在相关的提示模式活动。OpenAI称,这场行动在7月28日前被完全阻断。一条脚注说明,这些是尝试性提取,未必成功。公司没有说明针对的是哪些模型。
操作者并没有入侵数据库。
“操作者没有破解我们的加密,没有攻破数据库,也没有直接访问存储的用户对话,”博客写道,The Register如此引述。他们做的是操纵模型交互,让受保护的推理以请求者可见的形式复现出来。OpenAI把受保护的推理定义为模型处理任务时的内部记录。它把这种手法称为“对抗性蒸馏”:系统性地、未经授权地利用一个模型的输出或推理来训练或改进另一个模型。
解密预言机
机制才是关键,因为它正是OpenAI修复之后仍然存在的那部分。服务商把推理内容以加密数据包的形式发回给客户。客户在后续请求中把这些数据包传回去,服务商因此不必存储思维链。研究员Joachim Schaeffer及其团队证明,这些数据包用共享密钥加密。因此它们可以在会话之间、用户之间,甚至同一服务商的不同模型之间转移。同一家族中更弱、更便宜的模型随后可以充当解密预言机,把更强模型的隐藏思路逐字打印出来。OpenAI点名致谢这些研究者,并称已确认所报告的攻擊路径真实存在。
OpenAI称,此后已封禁欺诈账户并收紧了注册流程。它关闭了让人重放并读取不属于自己的加密推理的通道。它还会筛查流式输出,一旦可能泄露推理就予以拦截。它通过Frontier Model Forum和政府渠道分享了发现。CNBC报道,公司称操作者没有攻破其加密、数据库或存储的用户对话。Moonshot没有立即回应CNBC的置评请求。The Register也联系了该公司,未获即时回复,并向OpenAI询问针对的是哪些模型,同样没有收到答复。
同一天,研究者发布了更新。“我们又偷了一次推理,”Schaeffer在X上写道,据THE DECODER引述。他的论点是:守住自己的API,并不等于守住了同样出售这些模型访问权的云服务商构成的整个生态。团队发现,这一手法在包括Microsoft Azure在内的平台上持续奏效了数周。
这才是令人不安的后续。OpenAI能堵住自己的漏洞,却无法单方面堵住转售方的漏洞。
背景,以及为什么叙事框架很重要
这项指控落在一个拥挤的场域里。Tom's Hardware指出,OpenAI并不确定它观察到的所有操作者是否属于同一个行为体。该文没有说明成功率,也没有说明其中有多少用户与Moonshot有关。数周前,Anthropic指控包括Moonshot AI和阿里巴巴在内的多家中国AI开发商暗中使用Claude帮助训练自家系统,据CNBC报道。The Register补充说,7月下旬,特朗普的科学与技术助理Michael Kratsios指控Moonshot通过蒸馏Anthropic的Fable造出了Kimi K3模型。
OpenAI自己的论点是,被提取的推理可以用来训练另一个模型,而无需保留原模型面向用户输出所施加的防护措施。它称,在规模化情况下,蒸馏可以加速先进能力的转移,却不必在安全上投入同等资源。The Register的框架更直白:美国模型厂商可以拿网络数据训练,但蒸馏他们的模型却是国家安全风险。该媒体在标题里点出这一张力,并未给出解答。
这件事在很大程度上关乎控制权,而非能力。9月30日,佛罗里达州总检察长James Uthmeier对五家OpenAI实体以及Sam Altman个人提出临时禁令申请。据Tom's Hardware报道,该申请要求法院禁止公司在没有独立第三方护栏和批准的情况下开发AI模型,此外还有其它诉求。这项申请属于6月在Highlands County提起的一起诉讼。另一起由非营利组织就Hugging Face被黑事件提起的诉讼主张,“是AI干的”不能作为抗辩理由,据Ars Technica报道。据THE DECODER报道,美国联邦贸易委员会已就消费者保护问题对OpenAI、Anthropic及其他实验室展开大范围调查。
与之相对,开放权重的流动仍在继续。TechCrunch10月1日报道,AWS发布了Strands Decider 2B,这是一个受TypeSafe的Jev启发、小到可以在本地运行的开源决策模型。亚马逊杰出工程师Marc Brooker亲自构建了第一版,它一度在同尺寸模型的Jevbench排行榜上位居首位。Cloudflare在其博客上以Apache 2.0许可发布了自己的决策模型Clef和Clef-flash。它声称Clef在Jev Decision Index上领先,并在同一工作流中把域名分类耗时做到2.2秒,而gpt-oss-120b为4.7秒。Meta的Context Language Models仓库报告,当模型把上下文当作文件来管理时,在BrowseComp-Plus上准确率提高11.4%,FLOPs减少21.5%。连志愿者路线也走得通。Coop是一个约14500万参数的模型,在FineWeb-Edu上从零预训练。贡献者以Hugging Face拉取请求的形式提交伪梯度,由一个无状态的GitHub Actions定时任务汇总。
这两件事并非彼此独立。便宜、可在本地运行、开放许可的模型,恰恰是蒸馏一开始就具有吸引力的原因。它们也恰恰是监管困难的原因。OpenAI可以点名某个行为体并封禁账户。而正如研究者的更新所示,加密推理这一手法会四处流动。
被问及这场行动时,OpenAI自己的文章把显而易见的问题留在了那里。15000多个账户中有多少可追溯到Moonshot?哪些模型泄露了推理?输出的内容有多少可用?在这些数字出现之前,最经得起验证的说法比标题要窄:7月发生了一次有组织的提取尝试,规模很大,而且它是在一家服务商的API上被关停的,并非在所有地方。OpenAI称其最强大的模型训练已暂停一周,并披露了20亿参数的开放权重模型相关计划。
资料来源
12- 01OpenAI says it stopped a campaign to steal its models' reasoning, but the trick still worked on AzureEN
- 02OpenAI says actors linked to China-based Moonshot AI spearheaded a campaign to extract its models' hidden reasoningEN
- 03AI race heats up as OpenAI flags alleged model-copying campaignEN
- 04Irony alert: OpenAI whines that Chinese model stole its special IP that it stole from everybody elseEN
- 05Florida attorney general asks judge to bar OpenAI from developing new AI models without third-party approvalEN
- 06"An AI did it" is no defense, says nonprofit suing OpenAI over Hugging Face hackEN
- 07FTC launches sweeping probe into OpenAI, Anthropic, and other AI labs over consumer protection concernsEN
- 08Amazon releases its own Jev clone as decision models flood the webEN
- 09Clef: our open-source decision modelsEN
- 10Context Language Models (CLMs)EN
- 11Coop: A small language model pretrained by volunteersEN
- 12Google rolls out new Gemini AI model but restricts access over safety concernsEN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。