斯坦福研究:50条被广泛引用的LLM结论中44%已失效
斯坦福大学的Owen Queen和James Zou做了一项研究。他们检验了50条被广泛引用的大语言模型结论,发现其中44%已经失效,也就是原有结论在新模型上基本消失。在有估算失效日期的22项结论中,平均存续期为15.7个月。

研究用“失效”指那些在新模型上测试时原有结论基本消失的说法。Queen和Zou用8家开发商在2024年7月至2026年9月之间发布的20个模型检验了50条结论。其中44%已失效,34%明显减弱,16%仍然成立,6%变得更强。失效比例随时间上升:一年后为16%,两年后为39%。在有估算失效日期的22项结论中,平均存续期为15.7个月。
关于模型做不到什么的结论失效最快
9项与推理有关的结论中有5项已失效,没有一项保持成立或变得更强。这些结论包括数“strawberry”里有几个字母、在不熟悉的进制中做算术、长上下文中间的信息丢失,以及用户反驳时放弃正确答案。研究者推测,这类错误有“正确”的结果,开发者因此有明确的训练目标。
部分偏好和偏见依然存在
研究称有11项结论保持成立或变得更强。例子中有三项关于LLM作为评审时的行为:模型偏爱自己的答案,对已录用和已拒稿的论文给出相似评分,并会被医学摘要中的措辞倾向影响。另有三项涉及迎合用户、附和用户。研究还列出对开放式问题给出几乎相同的回答,以及生成随机数时分布不均匀。
社会偏见表现不一
研究发现,偏左的政治倾向仍然存在。性别刻板印象和内隐联想偏见已经减弱。对非裔美国人英语使用者的偏见在趋势数据中方向发生了反转。
引用造假下降,但并非每个模型都如此
作为案例研究,Queen和Zou考察了科学引文的编造情况。在Walters和Wilder 2023年的原始研究中,GPT-3.5编造了55%的参考文献。斯坦福研究者把同样的提示词发给当前模型。GPT-6.1 Sol的编造比例为0%,Claude Sonnet 5.5为1%。同样是2026年模型的Qwen3.7-Flash在同一测试中仍编造了69%的参考文献。
研究提醒不要把这些结果当成万事大吉。两跳问题要求模型把两个已知事实合起来回答。在这类问题上,Claude Sonnet 5.5对两个单独问题都能答对,但仍有约10%的情况答错。原始论文报告ChatGPT的这一比例为43%。反转诅咒以及成对时间相关问题上自相矛盾的答案也已减弱,但仍可检测到。
模型之间的差距依然很大
即使在同一发布窗口内,不同模型的结果也不一样。在2026年7月至9月发布的模型中,失效结论的数量从DeepSeek V4 Pro的11项到GPT-6.1 Sol的30项不等。Queen和Zou发现,发布日期、开发商和模型规模都不能可靠预测这一分布。
作者的建议
Queen和Zou的结论是,关于LLM的实证结论应当作为对特定模型在特定时间点的观察来呈现,而不是当作普遍真理。论文应记录模型、版本和日期,并公开提示词和分析代码,以便结论能在未来的模型上重新检验。
资料来源
9- 01Rapid LLM development is outrunning the research meant to explain it, study findsEN
- 02Hyperion Research: Nearly 20% Growth in HPC and AI-for-Science Server Market, Dell Takes Lead from HPEEN
- 03Microsoft Research Focus - Edition #97EN
- 04How Check Point accelerates vulnerability research with DaybreakEN
- 05Hanwha Q-Cells shifts focus to research and development in EuropeEN
- 06Accelsius Supports NSF Data Center Efficiency Research at VillanovaEN
- 07Cultivated meat: Is the safety evidence strong enough? - FoodNavigator.comEN
- 08 On this day in space! Oct. 30, 1964: NASA's weird Lunar Landing Research Vehicle takes 1st test flight to help Apollo astronauts land on the moon EN
- 09What Women in Indonesia and Malaysia Want From Research on Climate and HealthEN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。