斯坦福测试:被广泛引用的LLM论断中44%已经过时
斯坦福的Owen Queen和James Zou用20个模型检验了50条被广泛引用的大语言模型论断,发现44%已经过时。在有估算失效日期的22条结论中,平均寿命为15.7个月。

这50条论断逐一对照了八家开发商在2024年7月至2026年9月间发布的20个模型。除44%已经过时外,另有34%明显减弱,16%仍然成立,6%变得更强。过时速度随时间加快:一年后有16%过时,两年后达到39%。有估算失效日期的22条结论平均寿命为15.7个月,测试窗口则从2024年7月延续到2026年9月。
什么过时得最快
关于模型做不到什么的论断老化得最厉害。九条与推理相关的结论中有五条已经过时,没有一条保持成立或变得更强。它们包括数清"strawberry"里的字母、在不熟悉的进制下做算术、在长上下文中间丢失信息,以及用户提出质疑时就放弃正确答案。研究者怀疑这些错误都有一个"正确"的结果,等于给开发者提供了明确的训练目标。
关于偏好和倾向的论断寿命更长。在保持成立或变得更强的11条结论中,有三条涉及模型充当评估者:它们偏爱自己的答案,对录用和拒稿的论文给出相似的评分,还会被医学摘要中的措辞倾向左右。另外三条涉及对用户的迎合。偏左的政治倾向依然存在,对开放式问题的回答几乎一模一样,生成的随机数分布并不均匀。
引用问题的改善并不均衡
编造参考文献的情况说明进展多么不均衡。在Walters和Wilder 2023年的原始研究中,GPT-3.5有55%的参考文献是编造的。在同样的提示下,GPT-6.1 Sol编造了0%,Claude Sonnet 5.5编造了1%。同样属于2026年模型的Qwen3.7-Flash仍编造了69%。
两跳问题要求模型把两个它知道的事实结合起来,这仍是薄弱环节。Claude Sonnet 5.5在约10%的情况下仍然失败,而这些情况中它单独回答两个问题时都是正确的;原始论文中ChatGPT的这一比例为43%。"逆转诅咒"以及对成对时间相关问题给出自相矛盾的答案,已经减弱,但仍可检测到。
社会偏见表现不一。偏左的政治倾向依然存在,性别刻板印象和内隐联想偏见已经减弱,而对非裔美国人英语使用者的偏见在趋势数据中方向反转。
模型选择很重要
即使在同一个发布窗口内,结果也差异很大。在2026年7月至9月发布的模型中,过时结论的数量从DeepSeek V4 Pro的11条到GPT-6.1 Sol的30条不等。发布日期、提供商和模型规模都无法可靠地预测这一模式。
研究者的建议
Queen和Zou认为,关于LLM的实证结论应当作为针对特定模型在特定时间点的观察来呈现,而不是当作普遍真理。论文应当记录模型、版本和日期,并公开提示词和分析代码,以便结果能在未来的模型上重新检验。他们提到Andrej Karpathy的一篇帖子,其中谈到人们以为LLM会做什么与它实际如何表现之间的差距,如何影响人们对AI的信任以及使用频率。
资料来源
18- 01Rapid LLM development is outrunning the research meant to explain it, study findsEN
- 02Opentrons Raises $40 Million Series E Led by Avego to Expand AI-Driven Laboratory AutomationEN
- 03Open Science: The open-source AI workbench for scientific researchEN
- 04Life Sciences Market for Artificial Intelligence Projected to Reach $10.43Bn by 2030EN
- 05Opentrons Announces $40M Series E Round to Standardize AI-Driven Science on Its RobotsEN
- 06Hanwha Q-Cells shifts focus to research and development in EuropeEN
- 07Android-Smartphones sichern Fotos jetzt automatisch auf Windows-PCsEN
- 08CyberKord raises €2.7M to automate IT and cybersecurity operations with AIEN
- 09Quantum Interconnects Link Two 120-Qubit Processors (IBM Research)EN
- 10Accelsius Supports NSF Data Center Efficiency Research at VillanovaEN
- 11Hyperion Research: Nearly 20% Growth in HPC and AI-for-Science Server Market, Dell Takes Lead from HPEEN
- 12Chinese automakers reportedly head to Beijing for talks on EU hybrid export quotasEN
- 13Avoiding an uncontrolled reentry; boost Hubble and keep the science – IsaacmanEN
- 14 On this day in space! Oct. 30, 1964: NASA's weird Lunar Landing Research Vehicle takes 1st test flight to help Apollo astronauts land on the moon EN
- 15Microsoft Research Focus – Edition #97EN
- 16AI acceleration of science – a personal reflection - Wellcome Sanger Institute BlogEN
- 17What Women in Indonesia and Malaysia Want From Research on Climate and HealthEN
- 18Claude helped plan risky bird flu research. What did the AI add?EN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。