GPQA 测试题混入训练数据,Soofi S 评测删除该基准
一个德国研究联合体在预训练报告中披露,改写后的测试题泄漏进了已公开的训练数据,因此把科学基准 GPQA 从开源 30B 模型 Soofi S 的评测中移除。

该联合体由 KI Bundesverband 协调。它发布了预训练报告 3.0 版,并自己记录了这次污染。受影响的数据集是 QA-base。这个数据集本应只包含来自 25 个标准基准的改写训练集,也就是让模型熟悉题型的练习题,而不是真正的测试题。但里面也混进了 GPQA 测试集的改写题目,包括更难的 GPQA Diamond 变体,有英文版,也有机器翻译的德文版。
原因是标注上的一个疏漏,不是有意走捷径。
在 Hugging Face 上,GPQA 没有单独的训练集。它的全部测试材料都放在默认的 "train" 标签下。联合体的数据处理流水线按 split 名称挑选内容,测试题就这样和练习题一起被扫了进来。发现后启动的审计又查出三个基准存在同样情况:TruthfulQA、BLiMP 和 Inverse Scaling。这三个基准都不用于 Soofi S 的评测。
一个看起来正常的提升
报告里最引人注意的是,训练过程中没有人发现问题。模型在被污染的 GPQA 任务上稳步提升,从 32.3 分升到 43.4 分。作者说这个涨幅落在正常区间内,与其他测试上的进步看不出区别。没有出现任何可以当作警报的突增。
补救办法是流程上的。团队现在会自动把训练数据与所有测试题逐一比对,不再依赖 split 标签。报告称这类标签经常造成误导。
针对这次泄漏,联合体把 GPQA 完全从评测中删除,并重新计算了全部 16 个参评模型的总体结果,让所有模型在同一基础上打分。作者称排名顺序没有变化。
项目参与者、Fraunhofer IAIS 的 Nicolas Flores Herr 认为,这起事件恰恰说明开放路线有效,理由是只有数据公开,社区才能发现这个问题。团队表示已公开约 152000 条单项结果供核查。联合体伙伴 Ellamind 另做了一次评测,用的是刻意保留、保证模型在训练中从未见过的测试数据,结果与之一致。联合体称受影响部分在总语料中只占极小比例。
对整个依赖基准的说法来说,这个时机很尴尬。近几天的其他报道,包括斯坦福 HAI 的工作,都在质疑当前 AI 测试能在多大程度上评出它们针对的系统。
Soofi S 到底是什么
Soofi S 30B-A3B 是一个专家混合模型。它总共有 316亿参数,但每生成一个 token 只激活约 32亿,因此算力成本更接近 30亿 模型,而不是常规的 300亿 模型。联合体原样采用了 Nvidia Nemotron 3 Nano 的架构:一种把 Mamba-2 层与标准注意力层结合的混合设计。
实际差别体现在内存行为上。在常规 transformer 中,保存先前 token 的 KV cache 随上下文长度线性增长,在长输入和大量并行请求下,重新加载它就成了瓶颈。Soofi S 的 52 层里只有 6 层维护这样的缓存。在 4万 token 上下文、32 个并行请求下,联合体报告 Soofi S 每 GPU 每秒生成的 token 数约为 240亿 到 700亿 参数区间稠密模型的八倍。吞吐量从 4000 到 256000 token 几乎保持平坦,而常规模型则明显下滑。报告称,测量中唯一表现相近的模型是阿里巴巴的 Qwen3.5 35B-A3B,它也采用混合架构。
训练完全在慕尼黑的 Deutsche Telekom Industrial AI Cloud 上完成,Soofi S 因此成为在该基础设施上构建的首批大语言模型之一。训练数据刻意向德语倾斜。
在联合体自己的基准上,该模型在德语、英语和编程任务上胜过其他完全开源的系统,包括 OLMo 3 32B 和 Apertus 70B。微调后的 instruct 和 reasoning 变体正在 beta 测试,预计未来几周内以宽松许可证发布。更大的 Soofi L 模型已在训练中。
关于过训练的争论
发布后,批评者认为按 Chinchilla 缩放定律的标准,Soofi S 严重过训练。该定律由 Google DeepMind 于 2022 年发表,描述在固定算力预算下如何平衡模型规模与训练数据。他们找到的最佳点约为每个参数 20 个 token。Soofi S 远远超过这个比例。约 27万亿 token 配 350亿 参数,比例达到数百比一。若只算每 token 激活的 32亿 参数,比例则达到数千比一。
项目技术负责人之一 Michael Fromm 不接受这种解读。他认为旧规则不适用于专家混合架构。Fromm 说:“有新的研究表明,稠密模型时代的旧缩放定律不再适用于 MoE 架构。”他说原因在于构造方式:单个专家从看到相同文档中获益,因此在大规模高质量数据集中重复数据,问题比稠密模型小得多。作为参照,他举了 Nvidia 的例子,后者用自己的模型训练了多达 25万亿 token。
被污染的数据是测试材料,不是练习材料,而流水线因为一个标签无法区分两者。
这件事让人不舒服的地方就在这里。泄漏不是某个实验室悄悄拿测试集训练。它是公开数据集上的一个命名惯例,被自动化流水线大规模套用,一路瞒过了所有人,直到数据公开、有人去查才暴露。联合体的应对办法是把每一条训练数据与每一道测试题交叉比对。这类控制要花算力和时间,很少有团队公开说明。
这次发布的更大背景是承压的基准文化。stale.jock.pl 在 9 月发布的一份追踪表列出了 8 个实验室 20 个当前模型的发布日期和训练截止时间,并指出 20 个里只有 10 个带有实验室真正公布的截止时间。作者认为,一个模型可以在 9 月发布,却早在 4 月就停止阅读,而搜索工具只是掩盖这个缺口,并没有弥合它。他们在 16 个模型上共进行 2000 次调用,每次都给一个网页搜索工具。报告称前沿模型几乎每次都能正确判断,而较弱的模型在答案已经变化后仍凭记忆回答已有定论的问题。
基准和模型卡是业界描述系统能力的共同语言。Soofi S 同时展示了这两面:一次公开处理的、有记录的泄漏,以及一组如今取决于修正后评测的吞吐量和基准数字。instruct 和 reasoning 变体,以及重新计算的对比表,是接下来要检查的东西。
资料来源
2- 01German AI consortium releases Soofi S, an open 30B model that tops benchmarks in both English and GermanEN
- 02How stale is your AI? Release age and training cutoff for 20 modelsEN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。