斯坦福研究：被广泛引用的大模型结论中44%已过时

这个结果落在每一个引用基准测试的人身上。Queen和Zou检验的50条结论中，44%已经过时。

这不只是作者的事，对采购方同样要紧。无论是选模型、写内部AI政策，还是在幻灯片里复述某个基准分数，依据很可能都是一年甚至更早的证据。2024年成立的数字，未必说明得了团队2026年买的模型。研究还削弱了模型之间的横向比较：在2026年7月至9月发布的模型之间，已过时结论的数量从11条到30条不等。谁都没有公开发表过一种方法，能提前判断哪些结论站得住、哪些会烂掉。作者发现，发布日期、供应商和模型规模都无法可靠预测这一分布。

其余部分的分布同样不好看。另有34%的结论明显减弱，16%仍然成立，6%变得更强。

五十条结论，二十个模型，八家开发商

Queen和Zou把50条结论放到20个模型上重新跑了一遍。这些模型由八家不同的开发商在2024年7月至2026年9月间发布。在22条带有预计失效日期的结论中，平均寿命为15.7个月。失效在加速。一年后已有16%的结论过时，两年后达到39%。

十五个月大约相当于一个模型世代。

烂得最快的是关于能力边界的结论

这一分布并非随机。九条与推理有关的结论中有五条被计为过时，没有一条保持成立或变得更强。其中包括一些熟悉的抱怨：模型数错strawberry里的字母，在不熟悉的进制里做算术出错，在长上下文中丢掉中间的信息，被用户反驳后就放弃正确答案。研究者推测这些错误有共同的正确答案，开发者因此有了明确的训练目标。

关于行为表现的结论活得更久。在11条保持成立或变得更强的结论中，三条涉及模型充当评估者，三条涉及模型对用户的迎合与附和。社会偏见两头都有变化：偏左的政治倾向依然存在，性别刻板印象和内隐联想偏见则有所减弱。针对非裔美国人英语使用者的偏见，在趋势数据中方向已经翻转。

一项引用测试，外加一个很大的例外

论文的案例研究是伪造参考文献。在Walters和Wilder 2023年的原始工作中，GPT-3.5编造了55%的引用。面对同样的提示，GPT-6.1 Sol编造0%，Claude Sonnet 5.5编造1%。同样是2026年模型的Qwen3.7-Flash，仍编造了69%。

两个2026年的模型站在这一测试的两端。

作者提醒不要把它读成全面过关。在两跳问题上，Claude Sonnet 5.5仍有约10%的情况失败，尽管它把两个子问题都答对了，而原始论文中ChatGPT的这一比例为43%。反转诅咒和成对时间问题上自相矛盾的答案都有所减弱，但两者仍可检出。

即便在同一个发布窗口内，模型之间的差距依然很大。在2026年7月至9月间发布的模型中，已过时的结论从DeepSeek V4 Pro的11条到GPT-6.1 Sol的30条不等。

其他实验室用更难的测试来回应

微软10月下旬的研究综述介绍了其中两项工作。CABRA从头生成编程挑战，从而能可控地提高难度；在数千个生成任务中，智能体常常靠调用工具解决问题，却仍难以理解陌生的代码库。ForkPilot是一个自我改进框架，在六项基准上追平现有最佳方法，同时把处理需求最多降低59%。

另一些地方的答案是形式化验证。一篇关于纠缠辅助量子纠错码的arXiv论文采用研究者参与、Lean证明检查的流程，补上了存档表格中的54个空缺，并发布了115条经验证的代码记录。

它自己的数字就说明了问题。经验证集挑选的迭代程序，在未见长度n=13和n=15的留出执行上分别达到46.1%和31.6%的成功率，而独立生成的程序为19.5%和3.1%。长度更长时差距拉大。

商业实验室卖的则是速度。Check Point首席技术官Jonathan Zanger表示，Daybreak把漏洞研究从数小时缩短到数分钟。该工具让防御方接入OpenAI的前沿网络安全模型，用来分析漏洞、追踪攻击路径。

作者希望改掉的东西

Queen和Zou希望改变表述方式。他们认为，关于大模型的实证结论应当写成对特定模型在特定时点的观察，而不是普遍真理。他们补充说，论文应当记录自己测了什么。

实际建议更直接：引用之前先重测，并标注测试日期。