开放权重、开源,以及一个把《哈利·波特》背下来的模型
一篇新的 arXiv 论文报告称,Llama 3.1 70B 能几乎逐字复现至少一本书。这场争论因此重新点燃:"开放权重"到底公开了什么。

关于开放权重语言模型,有两件事同时成立,而整个行业三年来一直假装并非如此。它们确实有用。它们并不是开源。
这个区别不是咬文嚼字。它决定了发布实验室之外的人能否审查一个模型学到了什么,能否复现它是怎么学的,能否核实关于偏见与安全的说法。当前这一波"开放"模型发布,从 Meta 的 Llama 系列到 Mistral 的 Mixtral,公开的只有权重,别的几乎没有。训练代码、数据集和方法论都留在墙内。Prompt Engineering 在 2023 年 12 月的文章里把这道鸿沟讲得很直白:开放权重允许使用模型,但不等于完全透明;开源则让人能够理解并定制模型,但发布时需要付出的工作量要大得多。
权重到底是什么
权重是一次训练运行产生的数值结果。它不可读、不可调试,也不是指令。源代码三者都是。据 Prompt Engineering 的说法,把这两者混为一谈是常见错误,后果也真实存在。人们会仅仅因为一串参数文件可以下载,就把一套专有的训练流程说成开源。
实际代价体现在可审查性上。同一篇文章指出,如果只拿到权重,开发者能运行最先进的模型,却无法真正评估其中的偏见、局限和社会影响。模型与现实需求之间的错位会变得难以发现。若能接触完整源代码,不同机构的研究者就可以对公平性、安全性和鲁棒性做严格审查。这就是取舍:眼下方便,永远无法检视。
只发布模型权重,能广泛推动应用开发,但把控制权集中在少数机构手里。开放源代码访问则分散了控制权,但要求对透明和去中心化作出更大的投入。
这套说法经受住了时间检验。关于可审查性问题的证据一直在出现。
记忆问题
2025 年 5 月 18 日,A. Feder Cooper、Mark A. Lemley 和 Percy Liang 等研究者向 arXiv 提交了一篇论文,测量开放权重语言模型能被诱导复现多少受版权保护的书籍文本。他们把提取技术用在 200 本书和 14 个开放权重模型上,做了 3000 多次实验。论文的第六版于 2026 年 7 月 20 日修订,是目前的最新版本。
主要结论对版权诉讼双方都不利。论文称,大多数大语言模型并不会记住大多数书,无论整体还是部分。但存在明显的例外。Llama 3.1 70B 完整记住了某些书,包括《哈利·波特与魔法石》。记忆程度之深,足以用书开头的几个词作为初始提示,确定性地把整本书几乎逐字提取出来。
作者写道,生成式 AI 版权诉讼中的原告和被告对记忆问题作出了笼统而针锋相对的主张,这些主张把记忆与版权之间的关系极度简化了。他们补充说,自己的结果对版权案件有重要影响,但并非明确偏向任何一方。
要注意这个实验需要什么。它需要可以下载、可以反复盘问的权重。如果模型是受限的,外部研究者根本做不了同样的测试。换句话说,开放权重促成了这项发现,尽管开放权重并不等于开源。
一个小规模的反例
并不是每一次开放权重发布都是前沿模型。Superwhisper 发布了 s1-mini,这是一个 6亿 参数的文本规范化器,用于处理语音转写输出,采用 Apache 2.0 加一条命名条款。它接收原始的 ASR 转写,改写成干净的书面文本:去掉语气词,处理改口,补上标点和大小写,把口述的数字和日期写成书面形式。在一组 7519 条英语留出样本上,它的 token 准确率达到 94.8%。量化版本是一个 462 MiB 的文件,可以在笔记本 CPU 上运行。
发布说明对一处文档上的怪现象讲得格外坦率。Hugging Face 侧栏显示 8亿 参数,但模型卡说真实数字是 59600万 个唯一参数。原因是 15560万 参数的嵌入被存了两遍:75160万 个张量元素对应 59600万 个唯一元素。这一布局继承自 Qwen/Qwen3-0.6B,后者在 Hub 上报告 8亿 也是出于同样的原因。
这种披露正是发布权重时附带文档的全部理由。它也恰恰不是源代码。模型卡告诉你基础模型、精度、预期输入形状和许可证。它不会给你训练数据,也不会给你完整的配方。
为什么标签不如访问权限重要
Prompt Engineering 提议拆分词汇:用"Open Weights"指代覆盖神经网络权重的许可证,用"Ethical Weights"指代专门为权重设计的一类许可证。这个建议没有被广泛采用,营销话术也没有放慢。
- 开放权重:发布参数,不公开训练代码和数据,允许使用和微调。
- 开源:发布架构代码、训练方法、超参数、原始数据集和文档。
- 受限权重:参数只在重大的法律或伦理限制下可用。
这个区别还有一层二阶效应,很少出现在发布公告里。用 Prompt Engineering 的话说,开源能推动去中心化的进步。全世界的研究者都可以提出改进方案和替代的发展方向,进展不会被少数有能力训练巨型专有模型的公司卡住。开放权重则相反,它把这种能力集中起来,只把成品分发出去。
这并不意味着开放权重发布毫无价值。那项记忆研究之所以存在,正是因为它们有价值。但一个可以下载的检查点,是使用模型的许可,不是理解模型的许可。当前关于 AI 开放性的争论,大部分其实就发生在这两者之间的空隙里。
资料来源
3- 01Openness in Language Models: Open Source vs Open Weights vs Restricted WeightsEN
- 02Extracting memorized pieces of (copyrighted) books from open-weight language modelsEN
- 03S1-mini, Superwhisper's first open-weights language modelEN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。