斯坦福研究发现,被广泛引用的LLM论断中44%已经失效
斯坦福的Owen Queen和James Zou测试了50条被广泛引用的大语言模型论断,对照2024年7月到2026年9月间发布的20个模型,发现44%已经失效。有明确日期的论断平均寿命为15.7个月。

研究团队用8家开发商的20个模型重新跑了这50条论断。失效论断背后的原始效应大多已经消失,另有34%明显减弱。只有16%仍然成立,6%变得更强。
在22条能估算出失效日期的论断中,平均寿命为15.7个月。一年之后,16%的论断已经失效。两年之后,这一比例是39%。
关于能力上限的论断失效最快
9条与推理有关的论断中有5条被计为失效,没有一条保持成立或变得更强。例子包括:模型数错“strawberry”里的字母,在不熟悉的数字系统里算错算术,在长上下文的中间丢失信息,以及用户一反驳就放弃正确答案。研究者怀疑这些错误指向同一个正确结果,开发者因此有了明确的训练目标。
关于偏好和倾向的论断寿命更长。在保持成立或变得更强的11条论断中,三条涉及模型充当评估者,三条涉及模型对用户的迎合与附和。研究还报告了偏左的政治倾向、对开放式问题给出几乎相同的答案,以及生成随机数时分布不均匀。性别刻板印象和隐性联想偏见有所减弱,而对非裔美国人英语使用者的偏见在趋势数据中方向发生了反转。
引用测试:从55%降到零,但有一个例外
论文的案例研究是编造科学文献引用。在Walters和Wilder 2023年的原始研究中,GPT-3.5编造了55%的参考文献。用同样的提示,GPT-6.1 Sol编造了0%,Claude Sonnet 5.5编造了1%。同样属于2026年模型的Qwen3.7-Flash,仍然编造了69%。
研究提醒不要把这些结果当成万事大吉。在两跳问题上,Claude Sonnet 5.5在两个单独问题都答对的情况下,仍有约10%的案例答错,而原始论文中ChatGPT的这一数字是43%。反转诅咒和对成对时间相关问题给出矛盾答案的情况有所减弱,但两者都仍能被检测到。
模型之间的差距依然很大
即便在同一发布窗口内,结果也因模型而异。在2026年7月到9月间发布的模型中,失效论断的数量从DeepSeek V4 Pro的11条到GPT-6.1 Sol的30条不等。研究称,发布日期、提供商和模型规模都不能可靠预测这一分布。
作者希望改变什么
Queen和Zou主张,关于大语言模型的经验性论断应当作为对特定模型在特定时间点的观察来呈现,而不是当作普遍真理。他们表示,论文应当记录模型、版本和日期,并公开提示词和分析代码,以便在未来模型上重新测试这些论断。
资料来源
12- 01Rapid LLM development is outrunning the research meant to explain it, study findsEN
- 02Microsoft Research Focus – Edition #97EN
- 03Researcher-in-the-Loop Evolutionary Discovery of Entanglement-Assisted Quantum Code FamiliesEN
- 04How Check Point accelerates vulnerability research with DaybreakEN
- 05Hanwha Q-Cells shifts focus to research and development in EuropeEN
- 06I Checked Out Tesla’s New Model YL, Standard Y, Model 3 In Person — Here’s What Surprised MeEN
- 07New ISO interoperability standard covers collaboration among mobile robots from multiple vendorsEN
- 08Quantum Interconnects Link Two 120-Qubit Processors (IBM Research)EN
- 09Accelsius Supports NSF Data Center Efficiency Research at VillanovaEN
- 10Hyperion Research: Nearly 20% Growth in HPC and AI-for-Science Server Market, Dell Takes Lead from HPEEN
- 11 On this day in space! Oct. 30, 1964: NASA's weird Lunar Landing Research Vehicle takes 1st test flight to help Apollo astronauts land on the moon EN
- 12What Women in Indonesia and Malaysia Want From Research on Climate and HealthEN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。