跳到正文
世界时间EU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

关于人工智能与技术的门户事件 · 分析 · 访谈 · 技术背景

搜索
直播
›

记忆化研究:多数大模型无法复现多数书籍

一篇被 COLM 2026 接收的论文报告,在 200 本书和 14 个开放权重语言模型上测试后,多数模型并未记住多数书籍,但 Llama 3.1 700 亿参数版本能完整复现至少一本书。

人工智能与模型新闻林晓雯发布: 2026年9月27日8 分钟阅读资料来源 3
记忆化研究:多数大模型无法复现多数书籍

多数大语言模型并没有记住训练时用到的多数书籍,这是一篇被 COLM 2026 接收的论文给出的结论。研究在 200 本书和 14 个开放权重模型上做了 3000 多次抽取实验。这一结论与生成式 AI 版权诉讼中双方各自提出的笼统说法都不一致。

论文题为《从开放权重语言模型中抽取(受版权保护的)书籍记忆片段》,2025 年 5 月首次发布在 arXiv,修订持续到 2026 年 7 月。作者包括 A. Feder Cooper、Mark A. Lemley、Allison Casasola、Ahmed Ahmed、Aaron Gokaslan、Amy B. Cyphert、Christopher De Sa、Daniel E. Ho 和 Percy Liang。摘要直言,原告与被告各执一端的立场“极大地简化了记忆化与版权之间的关系”。

抽取方法实际发现了什么

核心结果是否定性的,而且比听上去要窄。就作者采用的这套抽取方法而言,多数大模型没有记住多数书籍,无论整本还是片段。这个限定条件很重要。结论说的是这套特定技术能抽出什么,而不是训练数据不会留下任何痕迹的一般性证明。

例外之处才是让模型开发者不舒服的地方。作者写道,Llama 3.1 700 亿参数版本完整记住了部分书籍,并点名《哈利·波特与魔法石》。记忆程度足以用书开头的几个词作为初始提示,确定性地几乎逐字抽出整本书。不需要采样技巧,不需要越狱,只要开头那句话。

在被测的 14 个开放权重系统中,记忆程度因模型和书籍而异。摘要没有列出其余模型,也没有给出逐书的分布。除了《哈利·波特》这个例子,哪些书目最容易暴露,在公开的摘要里仍是未解的问题。

作者对结果在法庭上的意义措辞谨慎。他们的结论是,这些发现对版权案件有重要影响,“但并不会明确地偏向任何一方”。这句话才是论文对这场争论的真正贡献,也很可能被双方的律师各自断章引用。

与研究并行的许可之争

研究人员在测量模型保留了什么,另一场争论则在追问,把这些模型称作“开放”时,这个词到底指什么。《The Register》9 月 15 日刊出 Steven J. Vaughan-Nichols 的专栏,指出业界常把只是开放权重的发布说成“开源模型”。

按专栏的划分,这一区别决定了你只能部署一个训练完成的神经网络,还是可以检查、复现、修改并再分发产生它的整套系统。权重是训练得到的数值参数。它们连同架构和推理代码让模型跑起来,却不告诉你模型里装进了什么。

开源促进会划的界线很直接。专栏引用其立场:开放权重指的是训练完成的神经网络的最终权重和偏置,公开它们只暴露了“完整问责所需信息的一小部分”。

“开放权重是进步。你可以下载模型,在自己的机器上运行,不让它进入别人的数据管道。但你看不到这东西是怎么造的,用什么训练的,也看不到它为什么这样表现。那不是开放模型,那是开放分发。”

说这话的是斯坦福以人为本人工智能研究院院长 James Landay,他对《The Register》表示,开放权重 AI 与开源 AI 之间“存在很大差距”,并认为在训练数据未披露、也没有可审计的记录时,外部无法在最完整的意义上测试或复现这项工作。

专栏指出,没有训练数据,外部就无法确定用了哪些来源、可能包含哪些受版权保护或私密的内容、数据如何筛选和删除、哪些语言和群体被低估、基准数据是否泄漏进训练,以及预训练之后有哪些对齐方法塑造了模型。这份清单恰好就是那篇记忆化论文试图从外部用抽取而非披露来回答的问题。

开源促进会自己的《开源 AI 定义》OSAID 1.0 于 2024 年 10 月发布,要求模型参数(含权重)以该组织认可的条款提供,但没有规定具体的法律机制。它招致了包括初版《开源定义》作者 Bruce Perens 在内的批评,他直言:“这不是开源!……不幸的是,开源促进会自己也卷进了开放洗白。”软件自由保护协会的 Bradley Kuhn 和红帽的 Richard Fontana 呼吁废除 OSAID,认为该组织“行动过快,把一项过于激进的折衷政策强加给社区”。

另一项竞争方案是 Linux 基金会的开放模型、数据与权重许可证 OpenMDW,已提交给开源促进会。它从 2025 年起存在,贡献者名单包括亚马逊、Meta、IBM、微软和英伟达,对模型的架构、训练数据和权重分别定义条款。《The Register》报道,这份提交在该组织的许可证审查邮件列表上遭到反对。开源促进会前执行董事 Stefano Maffulli 说,他总觉得这次审查“被意识形态偏见污染了”。

更便宜、更接近,但仍不可复现

Mozilla 9 月 15 日发布《开源 AI 现状》报告 1.1 版,数据截至 9 月 1 日。Tom's Hardware 次日作了报道。报告称,在 Artificial Analysis 智能指数上,最好的开放模型落后闭源领先者 3 分,价格为后者的 60%;落后 Claude Fable 5 两分,价格为 30%。Mozilla 对 METR 任务时长数据的拟合显示,开放与闭源的差距约为 4.4 个月,与 Epoch AI 的四个月估计接近。

方法论值得细看。METR 按任务时长给模型打分,时长以人类工作时间计,看模型能在一半情况下完成多长的任务。按 Mozilla 的拟合估计,闭源模型能处理人类专家需要 8 到 12 小时的任务;开放模型大约四个月后达到同一水平,开放能力每 3.9 个月翻一番,闭源为 5.5 个月。报告依据的是 Mozilla 与 SlashData 对约 1400 名开发者的调查、OpenRouter 流量数据和第三方基准指数。Mozilla 本身为开放模型游说,TIME 7 月 14 日报道,Mozilla 首席技术官 Raffi Krikorian 称这份报告部分属于倡议。

在 vals.ai 的 Terminal-Bench 2.1 上,所有模型跑在同一套测试框架里,Z.ai 的 GLM-5.2 与 Claude Opus 4.7 相差不到 1 分,落后 Opus 4.8 约 4 分,每次测试成本不到后者的五分之一。在 OpenRouter 上,Mozilla 统计 8 月按 token 量排名前十的模型中有八个是开放权重,其中七个由中国团队打造。但据 Linux 基金会,2025 年 5 月至 9 月,闭源厂商仍拿走了 OpenRouter 上模型层收入的 96%。Krikorian 在给 Ars Technica 的邮件中说:“我们认为为闭源模型付费的决定取决于工作负载,而不是取决于机构。”

报告统计了 16 个值得关注的开放发布,Tom's Hardware 指出,没有一个提供了开源促进会定义所要求的数据配方。四个月的差距和 30% 的 token 价格,都是在托管端点上按标价做的 API 对 API 测量。报告自己的硬件图表显示,能装进单台服务器的最好开放模型得分为 52.6,能装进单块 GPU 的最好模型为 40,比榜首分别低 10 分和 23 分,差距比四个月所暗示的更大。Kimi K3 的原生 MXFP4 检查点分布在 96 个分片上,约 1.56TB,Mozilla 给出的服务配置列出 64 个以上加速器,vLLM 则要求生产流量至少用 8 块 GB300 GPU 并跨多个节点。报告称这属于开放,但多数拿到它的人跑不起来。Thinking Machines 的 Inkling-Small 采用 Apache 2.0,是个例外,其 NVFP4 版本最低 180GB 显存即可装进一块 B300。

数据止于 9 月 1 日,基准此后已有变动。Artificial Analysis 现在用的是 v4.3 指数,评测集不同,其实时榜单上 Claude Fable 5.1 在最高努力档位得 53 分,Kimi K3 为 44 分,这些数字与 Mozilla 所绘的 v4.1.1 数据不可比。Mozilla 自己的图表说明写着:“差距在每个发布周期都会重置。”

报告中还有一项只作为指控陈述,而非发现。美国国家安全局、CISA 和联邦调查局 9 月 8 日的联合公告(AA26-251A)称,Moonshot 通过蒸馏抽取 Claude Fable 5 的数据来训练 K3,蒸馏即用一个模型的输出训练另一个模型。Mozilla 的报告把这一说法描述为“已断言,但未展示证据”。

把两条线索放在一起,任何想要一个干净答案的人都会觉得别扭。一个模型可以可下载、便宜、距前沿只差几个月,同时对自己的训练数据不透明。而当研究者去查它保留了什么,就像那篇 COLM 论文用 200 本书和 3000 多次实验所做的那样,答案取决于你问的是哪个模型、哪本书。Landay 对这道差距的总结,被《The Register》引用如下:“开放权重回答的是‘我能运行它吗?’开源回答的是‘我能信任它、改进它,并在它之上造出下一个东西吗?’”

评论 0

资料来源

3
  1. 01Extracting memorized pieces of books from open-weight language modelsEN
  2. 02Open weights are not open source: Why AI's favorite label is under disputeEN
  3. 03China's open-weight AI models are now just 4 months behind frontier US offerings, Mozilla report claimsEN

本文所有数字与引语均来自下列来源,未添加来源之外的内容。

本内容由编辑部在人工智能辅助下制作完成。

林晓雯

林晓雯

人工智能、模型与技术

林晓雯负责FLASH24的人工智能、模型与技术方向,主要写科技、人工智能与模型、媒体与互联网三个领域。她习惯从论文预印本、开源代码库和厂商技术文档入手,先核对训练数据来源和评测口径,再决定是否落笔。遇到模型跑分,她会自己复现一遍小规模测试,并对照独立第三方榜单,确认数字没有注水。她常联系一线工程师和产品经理,也盯着各大会议截稿日,把不同版本的技术报告放在一起比。业余时间她玩3D打印、折腾老电脑,还关心模型从网络垃圾里学到的偏见问题,这让她对数据清洗格外敏感。她有一条原则:拿不到原始数据的性能宣称,不写。

编辑部 →

评论

0
  1. 还没有评论——来说两句吧。

写评论

评论公开展示。我们不发布辱骂、垃圾信息和广告内容。