斯坦福审计：大模型论断平均15.7个月过期

过期最快的是关于模型做不到什么的论断

Queen和Zou用20个模型检验了这50条论断。这些模型来自8家开发商，发布时间在2024年7月至2026年9月之间。结果远非整齐划一。

这对任何引用基准测试的人都有影响。这类论断背后的证据大约只能撑一年零一个季度。以已发表发现为基础继续研究的学者，瞄准的是一个移动靶。靠公开对比挑模型的采购方也一样。目前没有公认的办法给一条论断标上过期。读者只能自己去核对模型和日期。

50条论断的分布并不均匀。总体上有44%已经过期，34%明显减弱，16%仍然成立，6%变得更强。在22条带估算过期时间的发现中，平均寿命为15.7个月。衰减还会加速。一年后16%的发现过期，两年后这一数字达到39%。

关于模型做不到什么的论断，过时得最快。

9条与推理有关的发现中有5条已经过期，没有一条保持成立或变强。这份清单读起来像一次常见弱点的巡礼。数strawberry里有几个字母算一条，在不熟悉的进制下做算术算一条。长上下文中间的信息丢失也算一条。用户一反驳就放弃正确答案同样算一条。Queen和Zou怀疑这些错误背后有一个共同的正确结果，这就给了开发者一个明确的训练目标。

活下来的是偏好、谄媚和偏见

在11条保持成立或变强的发现中，有3条涉及大模型充任评估者。模型偏爱自己的答案。它们给已录用和已拒稿的论文打出相近的分数，也会被医学摘要里的措辞左右。

另外3条涉及谄媚和对用户的附和。

偏见的情况比较复杂。偏左的政治倾向依然存在。性别刻板印象和内隐联想偏见已经减弱。针对非裔美国人英语使用者的偏见在趋势数据中方向反转。

引用测试：从55%降到零，但并非处处如此

作为个案，两人考察了编造科学文献引用的问题。在Walters和Wilder 2023年的原始研究中，GPT-3.5编造了55%的参考文献。Queen和Zou把同样的提示词发给当前的模型。GPT-6.1 Sol的编造率为0%，Claude Sonnet 5.5为1%。同属2026年模型的Qwen3.7-Flash在同一测试中仍编造了69%的参考文献。

引用编造是整项研究中最干净的案例。原始提示词可以被一字不差地重复。

改善是真实的，但只是部分的。在两跳问题上，模型必须把两个已知事实结合起来。Claude Sonnet 5.5在约10%的情况下仍然失败，而这些情况下它单独回答两个子问题都是对的。原论文为ChatGPT报告的数字是43%。

模型之间差距很大，而部署正在加速

在2026年7月至9月发布的模型中，过期发现的数量从DeepSeek V4 Pro的11条到GPT-6.1 Sol的30条不等。规模解释不了这一点。发布日期、供应商和模型大小都无法可靠预测这一分布。

与此同时，这些模型所在的系统正在进入生产环境。微软的研究人员报告说，编码智能体常常靠调用工具绕开问题。根据10月29日出版的Microsoft Research Focus，它们在必须理解陌生代码库时仍然吃力。同一期还介绍了ForkPilot。该框架在六项基准测试上把AI处理需求最多降低了59%。

安全工作呈现同样的压缩。OpenAI 10月27日表示，Check Point用其Daybreak模型把漏洞研究从数小时缩短到数分钟。这一说法来自Check Point首席技术官Jonathan Zanger。

硬件账单也随之攀升。Hyperion Research 11月3日报告，本地部署的高性能计算与科学AI收入在2026年上半年达到165亿美元，比2025年下半年的138亿美元增长19.9%。同期销量只增长4.4%。这说明系统成本在上升。戴尔以2026年上半年42亿美元的服务器收入拿下市场第一，终结了HPE超过25年的领先地位。

Hyperion Research首席执行官Earl Joseph把需求归因于两件事。他说，各机构正在更换老旧的机器。它们也想把AI引入自己的工作流程。

把两股趋势放在一起看，它们的方向相反。买方为每套系统花的钱更多。与此同时，他们用来比较模型的公开证据大约15个月就过时。一年前的基准测试结果，描述的可能是早已被替换的模型。

作者想要什么，以及什么仍无定论

Queen和Zou的结论是，关于大模型的经验性发现应当写成对特定时点上特定模型的观察，而不是普遍真理。他们的建议很具体：注明模型，注明版本，注明月份。

作者提醒不要就此认为一切已经过关。

反转诅咒和对成对时间相关问题给出矛盾答案的现象已经减弱，但仍然可以检出。说一个系统在某项任务上失败，说的是某一个构建版本，而不是这项技术本身。这一模式是否适用于2026年9月之后发布的模型，目前不得而知。