开放权重、封闭配方:记忆论文与许可证之争究竟说明了什么
一篇 COLM 2026 论文测量了 14 个开放权重语言模型对 200 本书的记忆程度。多数模型无法复现多数书籍,但用一本书开头的几个词提示 Llama 3.1 70B,就能让它近乎逐字输出某些书目。这项研究恰好落在“开放”到底该指什么的争论中间。

这篇论文题为《从开放权重语言模型中提取(受版权保护的)书籍的记忆片段》,编号 arXiv:2505.12546,2025 年 5 月 18 日首次投稿,此后修订至 2026 年 7 月 20 日。作者是 A. Feder Cooper、Mark A. Lemley、Allison Casasola、Ahmed Ahmed、Aaron Gokaslan、Amy B. Cyphert、Christopher De Sa、Daniel E. Ho 和 Percy Liang。论文已被 COLM 2026 接收。
作者针对的是诉讼中的论证方式。摘要在这一点上写道,生成式 AI 版权案的原告和被告“常常就大语言模型(LLM)从其训练数据中的书籍里记住了多少受保护表达,提出笼统而对立的说法”。作者认为,双方都“把记忆与版权之间的关系过度简化了”。
于是他们做出一套测量方法,并大规模跑了一遍:200 本书、14 个开放权重模型、超过 3000 次实验。最主要的结论对最强硬的主张不利。“就我们这套具体的提取方法而言,我们发现多数大语言模型并没有记住多数书籍,无论整体还是部分。”
然后是例外。Llama 3.1 70B“完整记住了某些书,比如《哈利·波特与魔法石》”。这里的记忆程度足够深,按摘要的说法,“只要用这本书开头的几个词作为初始提示,就能确定性地几乎逐字提取整本书”。这个发现只对特定模型、特定书籍成立,而这正是要点:记忆不是大语言模型的普遍属性。
这能否在法庭上帮到谁,论文没有回答。摘要说,这些结果“对版权案件有重要意义,但并不会明确偏向任何一方”。
底层的标签问题
那项研究里的模型是开放权重的,可以下载。这和开源不是一回事。2026 年 9 月 15 日,The Register 刊登 Steven J. Vaughan-Nichols 的专栏,专门讲了这件事。开源定义的管理者开源促进会(OSI)把开放权重定义为“训练好的神经网络的最终权重和偏置”,并补充说,仅有权重只能揭示“完整问责所需信息的一小部分”。
斯坦福以人为本人工智能研究院院长 James Landay 向 The Register 给出了通俗版本:“开放权重是一种进步。你可以下载模型,在自己的机器上运行,把它挡在别人的数据管道之外。但你仍然看不到这东西是怎么造出来的、用什么训练的、为什么会有这样的行为。那不是开放模型,那是开放分发。”
“开放权重回答的是‘我能运行它吗?’开源回答的是‘我能信任它、改进它,并在它之上构建下一个东西吗?’”
第二段引文同样出自 Landay,来自同一篇 Register 专栏。该文报道了 Bruce Perens、Bradley Kuhn 和 Richard Fontana 对 OSI《开源 AI 定义 1.0》的批评。OSI 在 2024 年 10 月发布 OSAID 1.0 时承认,这一定义会继续演进。Linux 基金会的 Mike Dolan 提交了《开放模型、数据与权重许可证》,该许可证自 2025 年起流传,贡献者名单包括 Amazon、Meta、IBM、Microsoft 和 Nvidia,这次提交在 OSI 的许可证审查邮件列表上引来了反对意见。
这对记忆研究的结果有直接影响。看不到训练数据,就无法独立核对哪些书被喂了进去,提取出来的文本是你关于输出了什么的唯一证据。
便宜、接近,却难以运行
据 Tom's Hardware 报道,Mozilla 于 2026 年 9 月 15 日发布《开源 AI 现状》报告 1.1 版,数据截至 9 月 1 日。Mozilla 是 Firefox 背后的非营利组织,也是开放模型的倡导者。报告依据 Mozilla 与 SlashData 对约 1400 名开发者的调查、OpenRouter 的流量数据和第三方基准指数。报告统计了 16 个值得注意的开放发布,Tom's Hardware 指出,其中没有一个提供 OSI 定义所要求的数据配方。
能力数字如下:在 Artificial Analysis 智能指数上,最好的开放模型落后闭源领先者三分,价格是后者的 60%;与 Claude Fable 5 相比落后两分,价格为 30%。Mozilla 对 METR 任务时程数据的拟合显示,开放与闭源的差距约为 4.4 个月,接近 Epoch AI 的四个月估计。按 Mozilla 的计算,开放能力每 3.9 个月翻一番,闭源为 5.5 个月。
这些保留意见和标题数字同样重要。四个月差距和 30% 这个数字,都是在托管端点上按标价做的 API 对 API 测量。Mozilla 自己的硬件图表显示,能装进一台服务器的最好开放模型得分为 52.6,能装进一块 GPU 的为 40,分别比榜首低 10 分和 23 分,这个跨度比四个月所暗示的要大。Kimi K3 的原生 MXFP4 检查点分布在 96 个分片上,约 1.56TB;Mozilla 的服务配置列出 64 个或更多加速器,vLLM 则要求至少八块 GB300 GPU。报告称,这算开放,但多数拿到它的人跑不起来。
需求一侧,Mozilla 统计了 OpenRouter 上按 8 月 token 量排名前十的模型,其中八个是开放权重,七个由中国团队打造。据 Linux 基金会的数据,2025 年 5 月至 9 月,闭源提供商仍拿走了 OpenRouter 上模型层收入的 96%。Mozilla 首席技术官 Raffi Krikorian 通过电子邮件对 Ars Technica 表示,选择为闭源模型付费看起来取决于具体工作负载,而不是取决于机构。
还有一条线索。报告以“有人主张、未见证据”的方式,记录了 2026 年 9 月 8 日 NSA、CISA 与 FBI 联合公告 AA26-251A 中的一项指控:Moonshot 通过蒸馏提取 Claude Fable 5 的数据,用于训练 Kimi K3。此事未经证实,也没有结论。
把两份文件放在一起看,它们从两端描述同一个对象。一个模型可以被下载、被微调,至少有一个有据可查的案例显示,还能被提示到几乎逐字复现一部长篇小说;而它背后的训练数据始终没有记录,也没有按开源许可发布,至于最大的那些检查点,多数人手上的硬件根本放不下。
资料来源
3- 01Extracting memorized pieces of (copyrighted) books from open-weight language modelsEN
- 02Open weights are not open source: Why AI's favorite label is under disputeEN
- 03China's open-weight AI models are now just 4 months behind frontier US offerings, Mozilla report claimsEN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。