追踪页面显示:新发布的 AI 模型用的还是几个月前的训练数据
9 月 16 日发布的一个追踪页面显示,八家实验室的 20 个在役模型中有 10 个公布了训练截止日期,而这个日期与发布日之间最多相差五个月。

这个页面叫 How stale is your AI,只做一件事:把 20 个模型名字和两个日期摆在一起,让两个日期不断往上数。发布日是实验室把模型放出来的时间,训练截止日是模型停止阅读的时间。据该网站统计,列出的 20 个模型中有 10 个带有实验室确实公布的截止日期。
整场关于基准测试的争论,浓缩起来就是这个。模型发布时按当时跑的基准测试打分,可截止日期之后发生的一切,根本不在模型知道的东西里。追踪页面自己举的例子是:GPT-6 Astra 于 2026 年 9 月 3 日发布,训练数据停在 2026 年 4 月 30 日。发布当天它就已经落后四个月。
两个日期说明了什么
只看两个日期都有的条目。Llama 4 于 2025 年 4 月 5 日发布,截止日期是 2024 年 8 月。Claude Haiku 4.5 于 2025 年 10 月 15 日发布,截止日期是 2025 年 7 月。Gemini 3.1 Pro 于 2026 年 2 月 19 日发布,截止日期是 2025 年 1 月,相差一年多。其余公布数据的还有:Claude Sonnet 5(2026 年 6 月 30 日发布,截止 2026 年 1 月)、Claude Fable 5.1(2026 年 9 月 1 日,2026 年 6 月)、GPT-6 Astra(2026 年 9 月 3 日,2026 年 4 月 30 日)、Grok 4.7(2026 年 9 月 21 日,2026 年 5 月)、Claude Opus 5.5(2026 年 9 月 22 日,2026 年 6 月)、GPT-6 Sol(2026 年 9 月 22 日,2026 年 4 月 20 日)和 GPT-6 Luna(2026 年 9 月 22 日,2026 年 5 月 18 日)。
另外十行是空的。Mistral Large 3、Mistral Small 4、Mistral Medium 3.5、Qwen3.8-Max、Muse Glimmer、DeepSeek V4-Pro、Qwen3.8-Flash、Gemini 3.8 Flash、Muse Spark 1.3 和 DeepSeek V4.1-Flash 都显示“未确认”。网站对这一点说得很谨慎:空白的意思是查过的厂商来源没能确认该模型的截止日期,并不等于实验室从未公布过。八家实验室里有五家,即 Anthropic、Google DeepMind、Meta、OpenAI 和 xAI,页面上至少有一个模型公布了截止日期。
训练截止日是模型停止阅读的日期。此后发生的一切,都不在模型知道的东西里。一个模型可以在九月发布,却仍然在四月停止阅读,也就是说它上线当天就落后五个月。
页面最值得注意的说法与日期无关。它讲的是给模型一个搜索按钮、让它自己决定用不用时会发生什么。作者报告了 16 个模型上的 2000 次调用,每个模型都配了网页搜索工具。在这轮测试里,前沿模型几乎每次都判断正确。较弱的模型在答案已经改变之后,仍凭记忆回答那些本有定论的问题,却去网上查水的沸点这类东西。页面里有个说法:问 16 个模型谁是挪威国王,有五个说出了已经去世的人。
这一点要仔细读。是否搜索,由存着过时事实的同一套权重决定,所以出错的地方恰好是模型最自信的地方。搜索工具只是把缺口糊上,并没有补上。开一个新对话,模型又回到自己的截止日期。
基准测试的尴尬之处
这关系到怎么看发布时的基准测试成绩。一个模型可以在九月登顶排行榜,靠的是那些答案在四月之前就已确定的问题,而跑评测的人没有谁去核对模型卡上的截止日期。如果实验室不公布截止日期,追踪页面的空白就是诚实的回答:实验室之外没人能测出这个差距。
还有一层问题。模型不是了解模型的好来源。据页面所述,直接问它训练截止日期,规矩的模型会回答,或者说自己不确定。张口就给一个自信日期的模型,反倒透露了关于自己的有用信息。发布日、版本号、哪个模型是当前版本,全都停在截止日期上,而错误的答案听起来照样自信。
建议的补救办法很小,也很实际。在 agent 本来就会读的 AGENTS.md 或 CLAUDE.md 里写几行,让它把任何模型、版本或日期说成当前之前,先去取网站的 models.json,并把任何附带日期的内容都当作未核实,直到查过为止。导出文件为每个模型带上发布日期、公布的截止日期和来源链接,页面每次更新都会重新生成。页面提供了现成的措辞,可以直接粘贴。
这不是通常意义上的基准测试。没有分数,没有排行榜,也没有实验室提交的运行结果。它是一张日期表,带一个 JSON 导出,外加一个论点:模型卡上的第二个日期,应该像第一个一样受到审视。
对于要比较同一周发布的两个模型的人来说,追踪页面补上了一个大多数发布报道都跳过的问题:它们各自是什么时候停止阅读的,实验室有没有费心说明?
资料来源
1本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。