跳到正文
世界时间EU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

关于人工智能与技术的门户事件 · 分析 · 访谈 · 技术背景

搜索
直播
›

GPQA 测试题混入训练数据,Soofi S 评测删除该基准

一个德国研究联合体在预训练报告中披露,改写后的测试题泄漏进了已公开的训练数据,因此把科学基准 GPQA 从开源 30B 模型 Soofi S 的评测中移除。

人工智能与模型新闻王雅琴发布: 2026年9月27日6 分钟阅读资料来源 2
GPQA 测试题混入训练数据,Soofi S 评测删除该基准

该联合体由 KI Bundesverband 协调。它发布了预训练报告 3.0 版,并自己记录了这次污染。受影响的数据集是 QA-base。这个数据集本应只包含来自 25 个标准基准的改写训练集,也就是让模型熟悉题型的练习题,而不是真正的测试题。但里面也混进了 GPQA 测试集的改写题目,包括更难的 GPQA Diamond 变体,有英文版,也有机器翻译的德文版。

原因是标注上的一个疏漏,不是有意走捷径。

在 Hugging Face 上,GPQA 没有单独的训练集。它的全部测试材料都放在默认的 "train" 标签下。联合体的数据处理流水线按 split 名称挑选内容,测试题就这样和练习题一起被扫了进来。发现后启动的审计又查出三个基准存在同样情况:TruthfulQA、BLiMP 和 Inverse Scaling。这三个基准都不用于 Soofi S 的评测。

一个看起来正常的提升

报告里最引人注意的是,训练过程中没有人发现问题。模型在被污染的 GPQA 任务上稳步提升,从 32.3 分升到 43.4 分。作者说这个涨幅落在正常区间内,与其他测试上的进步看不出区别。没有出现任何可以当作警报的突增。

补救办法是流程上的。团队现在会自动把训练数据与所有测试题逐一比对,不再依赖 split 标签。报告称这类标签经常造成误导。

针对这次泄漏,联合体把 GPQA 完全从评测中删除,并重新计算了全部 16 个参评模型的总体结果,让所有模型在同一基础上打分。作者称排名顺序没有变化。

项目参与者、Fraunhofer IAIS 的 Nicolas Flores Herr 认为,这起事件恰恰说明开放路线有效,理由是只有数据公开,社区才能发现这个问题。团队表示已公开约 152000 条单项结果供核查。联合体伙伴 Ellamind 另做了一次评测,用的是刻意保留、保证模型在训练中从未见过的测试数据,结果与之一致。联合体称受影响部分在总语料中只占极小比例。

对整个依赖基准的说法来说,这个时机很尴尬。近几天的其他报道,包括斯坦福 HAI 的工作,都在质疑当前 AI 测试能在多大程度上评出它们针对的系统。

Soofi S 到底是什么

Soofi S 30B-A3B 是一个专家混合模型。它总共有 316亿参数,但每生成一个 token 只激活约 32亿,因此算力成本更接近 30亿 模型,而不是常规的 300亿 模型。联合体原样采用了 Nvidia Nemotron 3 Nano 的架构:一种把 Mamba-2 层与标准注意力层结合的混合设计。

实际差别体现在内存行为上。在常规 transformer 中,保存先前 token 的 KV cache 随上下文长度线性增长,在长输入和大量并行请求下,重新加载它就成了瓶颈。Soofi S 的 52 层里只有 6 层维护这样的缓存。在 4万 token 上下文、32 个并行请求下,联合体报告 Soofi S 每 GPU 每秒生成的 token 数约为 240亿 到 700亿 参数区间稠密模型的八倍。吞吐量从 4000 到 256000 token 几乎保持平坦,而常规模型则明显下滑。报告称,测量中唯一表现相近的模型是阿里巴巴的 Qwen3.5 35B-A3B,它也采用混合架构。

训练完全在慕尼黑的 Deutsche Telekom Industrial AI Cloud 上完成,Soofi S 因此成为在该基础设施上构建的首批大语言模型之一。训练数据刻意向德语倾斜。

在联合体自己的基准上,该模型在德语、英语和编程任务上胜过其他完全开源的系统,包括 OLMo 3 32B 和 Apertus 70B。微调后的 instruct 和 reasoning 变体正在 beta 测试,预计未来几周内以宽松许可证发布。更大的 Soofi L 模型已在训练中。

关于过训练的争论

发布后,批评者认为按 Chinchilla 缩放定律的标准,Soofi S 严重过训练。该定律由 Google DeepMind 于 2022 年发表,描述在固定算力预算下如何平衡模型规模与训练数据。他们找到的最佳点约为每个参数 20 个 token。Soofi S 远远超过这个比例。约 27万亿 token 配 350亿 参数,比例达到数百比一。若只算每 token 激活的 32亿 参数,比例则达到数千比一。

项目技术负责人之一 Michael Fromm 不接受这种解读。他认为旧规则不适用于专家混合架构。Fromm 说:“有新的研究表明,稠密模型时代的旧缩放定律不再适用于 MoE 架构。”他说原因在于构造方式:单个专家从看到相同文档中获益,因此在大规模高质量数据集中重复数据,问题比稠密模型小得多。作为参照,他举了 Nvidia 的例子,后者用自己的模型训练了多达 25万亿 token。

被污染的数据是测试材料,不是练习材料,而流水线因为一个标签无法区分两者。

这件事让人不舒服的地方就在这里。泄漏不是某个实验室悄悄拿测试集训练。它是公开数据集上的一个命名惯例,被自动化流水线大规模套用,一路瞒过了所有人,直到数据公开、有人去查才暴露。联合体的应对办法是把每一条训练数据与每一道测试题交叉比对。这类控制要花算力和时间,很少有团队公开说明。

这次发布的更大背景是承压的基准文化。stale.jock.pl 在 9 月发布的一份追踪表列出了 8 个实验室 20 个当前模型的发布日期和训练截止时间,并指出 20 个里只有 10 个带有实验室真正公布的截止时间。作者认为,一个模型可以在 9 月发布,却早在 4 月就停止阅读,而搜索工具只是掩盖这个缺口,并没有弥合它。他们在 16 个模型上共进行 2000 次调用,每次都给一个网页搜索工具。报告称前沿模型几乎每次都能正确判断,而较弱的模型在答案已经变化后仍凭记忆回答已有定论的问题。

基准和模型卡是业界描述系统能力的共同语言。Soofi S 同时展示了这两面:一次公开处理的、有记录的泄漏,以及一组如今取决于修正后评测的吞吐量和基准数字。instruct 和 reasoning 变体,以及重新计算的对比表,是接下来要检查的东西。

评论 0

资料来源

2
  1. 01German AI consortium releases Soofi S, an open 30B model that tops benchmarks in both English and GermanEN
  2. 02How stale is your AI? Release age and training cutoff for 20 modelsEN

本文所有数字与引语均来自下列来源,未添加来源之外的内容。

本内容由编辑部在人工智能辅助下制作完成。

王雅琴

王雅琴

人工智能、模型与技术

王雅琴负责FLASH24的人工智能、模型与技术报道,覆盖科技、人工智能与模型、媒体与互联网领域。她习惯直接查阅技术文档、模型卡与官方博客,而非依赖新闻稿,对未经核实的参数和跑分数据一概不放行。每篇报道前,她会逐项核对基准测试结果,对照论文原文与开源代码,确认版本号、数据集和评测条件是否一致。她常联系开发者与研究人员求证细节,也盯着各大厂商的发布会和论文截稿日期,横向比较同类模型的实际表现。私下她自建服务、折腾家庭网络,这让她对部署成本和真实算力需求有直观判断。她的原则是:没有可复现来源的数字,不写进稿子。

编辑部 →

评论

0
  1. 还没有评论——来说两句吧。

写评论

评论公开展示。我们不发布辱骂、垃圾信息和广告内容。