OpenAI称已切断与Moonshot AI相关的蒸馏提取活动
OpenAI表示,它阻断了一场有组织的行动,该行动试图从其模型中提取受保护的推理内容。公司将其中核心的一组活动归因于与Kimi开发者Moonshot AI有关的人员。最早的活动始于7月1日。

OpenAI于10月4日在其网站上公布了这起行动的说明。公司称,操作者从未破解其加密、入侵数据库或直接获取已存储的用户对话。他们只是把模型交互推向某些形式,让受保护的推理以可见输出的方式被大规模复制,违反了服务条款。
这一区别对任何在前沿模型之上构建安全工具的人都很重要。攻击面是产品自身的推理轨迹,而不是机房。OpenAI称这些活动符合对抗性蒸馏的特征,也就是系统性地利用一个模型的输出去训练、复制或改进另一个模型。
公司给出的时间线异常具体。活动于7月1日开始,量很小。7月24日和25日出现高流量峰值,超过4000名用户使用了相关的提取模式,发出16000次请求。OpenAI称,另一个规模更大的用户群超过15000人,运行相关提示模式,到7月28日已被完全阻断。
其中一种手法尤其突出。OpenAI称,操作者从一段对话中复制加密的推理内容,再在另一段对话中要求模型解密并转写这些隐藏内容。如果这能奏效,模型的最终答案与内部推演之间的实际屏障就比客户以为的要薄。OpenAI表示,此后已部署缓解措施,并通过Frontier Model Forum与行业伙伴分享了细节。
推理轨迹为何值得窃取
受保护的推理是模型处理任务时的内部记录。OpenAI认为,提取它可以暴露最终答案中被隐去的信息,而这正是竞争对手重建能力所需要的材料。公司还警告,蒸馏出的模型未必继承原模型面向用户输出时所施加的防护措施。它表示,在大规模情况下,蒸馏会加速能力转移,却没有相应的安全投入。
OpenAI称,目前不清楚该时段观察到的每个操作者是否来自同一主体。它只把核心的一组活动归因于与Moonshot AI有关的人员。Moonshot在OpenAI的帖子中未作公开回应,帖子也没有说明OpenAI在发布前是否联系过该公司。双方均未披露任何法律行动。
此次披露延续了一种模式:实验室只在缓解措施到位后才公布事件说明。OpenAI称,它在公开前调查了影响范围、部署了修复,并听取了研究人员和行业伙伴的反馈。独立安全研究人员也通过负责任披露报告了相关的跨模型漏洞和对话压缩漏洞。OpenAI表示,已确认这些攻击路径真实存在。
对AI安全产品的买家来说,结论比标题要窄。这不是一起凭窃取凭证完成的典型入侵,而是对合法接口的滥用,重复次数多到看起来像攻击。
谷歌在用户脚下重画模型菜单
模型访问权限也在同一时间发生变化。据9to5Google于10月3日报道的一份更新的谷歌支持文档,从10月9日起,没有付费订阅的Gemini应用用户将只能使用3.5 Flash-Lite模型。他们将失去3.6 Flash和3.1 Pro的使用权限。
每月4.99美元的AI Plus订阅用户将只能使用Flash-Lite和Flash,Pro被移除。谷歌称,这些用户会收到一封邮件,说明变更何时生效。每月19.99美元的AI Pro和每月99.99美元或199.99美元的AI Ultra保留全部三个模型的使用权。AI Pro客户还将获得Deep Think选项以实现最大并行推理,该选项此前仅限于Ultra套餐。
THE DECODER于10月4日报道称,这一安排与OpenAI为ChatGPT设置的免费增值结构相似,免费层被缩减到最小的模型。该媒体还指出,谷歌可能在为Gemini 4 Argon做准备,后者的运行成本可能更高。9to5Google报道称,Argon将首先向AI Ultra订阅用户开放。它还报道称,谷歌尚未说明Argon算作Pro模型还是位于其上的更高层级。
这一变化有一个容易被忽略的安全维度。那些把内部工具建立在聊天框碰巧提供的模型之上的团队,10月9日之后可能发现自己用的是Flash-Lite。为Pro调好的提示词会表现不同,而默认值的迁移通知没人会发。
据9to5Google报道,谷歌还准备在10月为每个可用模型提供低、中、高三档努力级别。更高的努力级别会产生更详尽的回答,也会更多消耗用户的额度。这既是产品细节,也是计费细节。
Anthropic先询问,并让开关保持关闭
据BleepingComputer于10月4日报道,Anthropic已开始请求Claude用户自愿提供语音对话用于模型训练。当人们使用Claude的语音功能时会出现这一提示,请求允许将音频用于改进公司模型。
据BleepingComputer看到的界面,该设置默认关闭。用户可以选择允许或暂不,之后可在设置、隐私中更改开关,并在事后删除语音数据。语音训练与现有的对话和编程会话训练选项相互独立,因此两个选择可以分别设置。
这种分离才是有意思的地方。用户可以在交出语音录音的同时,让普通对话和Claude Code会话不进入训练,反之亦然。Anthropic没有说明有多少人选择加入,报道也没有给出它持有多少语音数据的数字。
小模型、本地机器与一次CVE审计
无法将数据发送到托管API的安全团队现在有了更多本地选择。Jerry Gamblin是CVE计划质量、自动化和消费者工作组的成员,他通过Ollama 0.35.1在本地运行了Cloudflare的Clef模型。他向截至10月3日的60天内发布的全部27489个CVE提了两个问题:描述是否说明了安全影响,以及对防御者来说有多清楚。
结果于10月4日发表在他的博客上,给一个熟悉的抱怨配上了数字。在Linux内核之外,23736条描述中有989条,即4.2%,从未说明攻击者能做什么。内核是另一种情况:其公布的政策把影响留给用户判断,因此其3753条记录中有3661条没有说明影响。这使得全部CVE的数字达到27489条中的4650条,即16.9%。
Clef Flash是一个90亿参数的模型,在一台笔记本电脑上对每个CVE的两个问题作答,中位耗时不到一秒,且无需API密钥。Flash单独使用时过于严格,因此更大的270亿参数Clef模型重新读取了它在内核之外标记出的所有内容,并推翻了2187条中的1198条,即54.8%。对照Gamblin手工标注的129个CVE,这种两步方法抓住了他判定为未说明影响的16个中的15个,并且从未把他判为有影响的样本误标。他写道,两个模型均采用Apache 2.0许可,基于Qwen模型微调。
Gamblin声明,他帖子中的任何内容都不代表CVE计划的立场。这次审计是一名研究者的周末项目,不是监管机构的结论。它衡量的是文字质量,而不是漏洞是否可被利用。
OpenAI自己的帖子提出了一个相关的观点:蒸馏和推理提取并非其模型独有的漏洞。公司称,类似技术可能影响其他先进系统,这使得各实验室之间的协调成为防御的一部分。
资料来源
9- 01Disrupting a coordinated model-distillation campaignEN
- 02Gemini app limiting what models free and AI Plus users can accessEN
- 03Google's new Gemini tiers cut free users to its weakest model and lock $5/month subscribers out of ProEN
- 04Anthropic asks Claude users to share voice data for AI model trainingEN
- 05Decision Models vs. CVE DataEN
- 06OpenAI's latest features take direct aim at the app store modelEN
- 07Ideogram 4.5: The most precise edit modelEN
- 08No Model Required: Text Entropy Rate Filtering Mitigates Iterative Fine-Tuning CollapseEN
- 09Language Model "Shape"EN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。