AI模型发布越来越快,基准测试却跟不上
stale.jock.pl追踪的20个当前模型中,有10个没有公布训练截止日期。9月14日当周,中国模型在OpenRouter上占token用量的57%到67%。

stale.jock.pl的模型追踪页面显示,2026年9月1日至9月22日之间有六个模型发布。该页面列出了来自八家实验室的20个当前模型的发布日期和训练截止日期。仅OpenAI一家就在9月22日发布了三个:GPT-6 Sol、GPT-6 Luna,同日还有Anthropic的Claude Opus 5.5。依据是该追踪页面的表格和近期新闻标题。如今实验室衡量前沿AI模型的发布节奏,单位是天,不是季度。
但用来评判这些模型的标准却跟不上。名单上只有一半的模型公布了训练截止日期,也就是模型停止阅读数据的日期。追踪页面称,八家实验室中有五家(Anthropic、Google DeepMind、Meta、OpenAI和xAI)至少为一个模型公布了截止日期。空白项意味着核查过的厂商资料未能确认截止日期,并不证明它不存在。
发布与知情之间的落差
追踪页面自己的说法很直白:两个日期决定了一个模型到底有多新。发布日期是实验室把它推出来的时间,训练截止日期是它停止阅读的时间。页面显示,2026年9月3日发布的GPT-6 Astra,截止日期是2026年4月30日,发布当天它已经落后约四个月。2026年9月1日发布的Claude Fable 5.1,截止日期是2026年6月。2026年2月19日发布的Gemini 3.1 Pro,2025年1月就不再阅读数据,比发布早了一年多。
一个模型可以9月发布,却4月就停止阅读,这意味着它上线那天就已经落后五个月。
发布周期越短,这个落差越要紧。追踪页面显示,Mistral AI在2025年12月2日发布Mistral Large 3,2026年3月16日发布Mistral Small 4,2026年4月28日发布Mistral Medium 3.5,都没有公布截止日期。阿里巴巴的Qwen3.8-Max(2026年8月3日)、Qwen3.8-Flash(2026年8月26日),以及DeepSeek的V4-Pro(2026年8月13日)和V4.1-Flash(2026年9月10日),同样列在名单上却没有公布截止日期。Meta的Muse Glimmer和Muse Spark 1.3、Google DeepMind的Gemini 3.8 Flash也是如此。
页面认为,搜索工具补不上这个缺口。联网搜索的模型读几页网页,在一个回答里用掉,然后忘掉。开一个新对话,它又回到自己的截止日期。更麻烦的是,模型必须自己触发搜索,用的还是装着过期事实的那套权重。于是错误正好落在模型最有把握的地方。页面引用了一项测量:16个模型共2000多次调用,每个都配了网页搜索工具。前沿模型几乎每次都判断正确。较弱的模型会把已经变化的事实当成定论说出来,还会上网去查水的沸点这类东西。
使用格局的变化快过基准测试
实验室忙着发布的同时,使用数据讲的是另一个故事:开发者实际在用哪些模型。据CNBC报道,该媒体引用了提供给该电视台的使用数据:2026年中国AI模型在两个主要开发者平台上从很小的份额变成了多数。在OpenRouter上,9月14日当周中国模型占token用量的57%到67%,2月时是6%到13%。在Vercel上,份额从1月的11%升到8月的55%。
这种采用集中在OpenRouter定义的“全球南方”,即中南美洲、非洲和亚洲的82个国家。CNBC报道,这些国家的公司所用token有超过三分之二流向中国模型。美国的公司在OpenRouter上用了大约一半的token。
据CNBC采访的人士说,价格是驱动力。OpenRouter洞察负责人Peter Walker对该电视台表示,今年发布的中国开源模型“在高级agentic用例中能可靠地完成任务,尤其是在编程方面,这在2025年底还完全不成立”。他还说,这些模型“与美国实验室的大多数模型相比,性价比高得惊人”。Vercel agentic基础设施负责人Harpreet Arora对CNBC说,一旦模型达到某项工作的质量门槛,价格差异就变得很有说服力。他说,更复杂的任务,公司仍然想要美国的前沿模型。
据CNBC报道,本周早些时候OpenAI和Anthropic都发布了更便宜的新模型。Anthropic产品管理、研究与实验室负责人Dianne Penn对该电视台说,公司正设法让模型的回答“更高效,根据你的effort设置少用一些token”。
华盛顿在盯着token数字
据CNBC报道,这一转变正在华盛顿引起审视,美国众议院两个委员会正在调查中国模型采用率上升的影响。美国通过出口管制限制中国AI公司购买最先进的芯片。华盛顿担心它们经由海外数据中心远程访问Nvidia芯片,也担心“蒸馏”,即新模型模仿更早、更成熟的模型。
新美国安全中心(CNAS)技术与国家安全项目高级研究员Daniel Remler对CNBC说,中国AI代表着“美国面临的真实经济和安全风险”。他说:“最终的担忧是,中国AI模型的整合会把各国拉进一个中国技术势力范围,并固化为地缘政治上的站队。”Remler还说,东南亚尤其可能出现显著增长。他说,“从拉各斯到圣保罗到雅加达,凡是创业者和政府在找便宜开源模型的地方,都会首先看向中国AI。”
Nvidia想用软件而不是芯片来改变这个算式。该公司正在准备一个免费模型,预计叫Nemotron 4,年底前推出。Counterpoint Research分析师Marc Einstein对Rest of World说,它瞄准的是已经在用Nvidia硬件的买家。很少有国家比阿联酋更符合这个描述,其旗舰数据中心将运行在40万块Nvidia芯片上,该媒体报道。据Rest of World报道,Nvidia还同意支付近130亿美元收购Hugging Face,也就是开发者分享和下载模型的平台。
这笔支出的背景是:美国AI模型的早期版本远远落后于中国的免费模型。据Rest of World引用Hugging Face 8月的一份报告,这些免费模型今年被下载约20亿次,远超任何西方对手。各国政府自建模型时,大多从Meta或阿里巴巴的免费模型起步。Einstein说,Nvidia花这笔钱,是想让Nemotron成为它们改选的基础。
基准测试漏掉了什么
这些都没有解决根本的测量问题。模型的基准分数说明不了它是否知道截止日期之后发生了什么。stale.jock.pl页面建议做一个低技术检查:直接问模型自己的训练截止日期。表现好的模型会回答,或者说自己不确定。页面认为,一个编造出自信日期的模型,已经透露了关于自己的有用信息。页面还补充,答案应当对照追踪页面核实,因为模型并不是了解模型的好来源。
页面还提供机器可读的导出文件models.json,包含全部20个模型的发布日期、公布的截止日期和来源链接。页面建议通过agent已经在读的AGENTS.md或CLAUDE.md指令文件,让agent去读它。导出文件随页面一起重新生成,所以agent读到的是今天的日期,而不是固化在它权重里的日期。
这只是权宜之计,不是解决办法。实验室控制着自己披露什么,追踪页面上当前仍有一半模型没有公布截止日期。在这一点改变之前,只凭基准测试比较模型的人,评的是一份发布时就已过期的快照。
资料来源
3- 01Show HN: How Stale Is Your AI? Release age and training cutoff for 20 modelsEN
- 02Chinese AI models surge in global popularity — and Washington is worriedEN
- 03Nvidia's free AI model could push the UAE closer to the U.S.EN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。