跳到正文
世界时间EU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

关于人工智能与技术的门户事件 · 分析 · 访谈 · 技术背景

搜索
直播
›

斯坦福研究:50条被广泛引用的LLM结论中44%已失效

斯坦福大学的Owen Queen和James Zou做了一项研究。他们检验了50条被广泛引用的大语言模型结论,发现其中44%已经失效,也就是原有结论在新模型上基本消失。在有估算失效日期的22项结论中,平均存续期为15.7个月。

科学解释郑雪莉发布: 2026年11月4日4 分钟阅读资料来源 9
斯坦福研究:50条被广泛引用的LLM结论中44%已失效

研究用“失效”指那些在新模型上测试时原有结论基本消失的说法。Queen和Zou用8家开发商在2024年7月至2026年9月之间发布的20个模型检验了50条结论。其中44%已失效,34%明显减弱,16%仍然成立,6%变得更强。失效比例随时间上升:一年后为16%,两年后为39%。在有估算失效日期的22项结论中,平均存续期为15.7个月。

关于模型做不到什么的结论失效最快

9项与推理有关的结论中有5项已失效,没有一项保持成立或变得更强。这些结论包括数“strawberry”里有几个字母、在不熟悉的进制中做算术、长上下文中间的信息丢失,以及用户反驳时放弃正确答案。研究者推测,这类错误有“正确”的结果,开发者因此有明确的训练目标。

部分偏好和偏见依然存在

研究称有11项结论保持成立或变得更强。例子中有三项关于LLM作为评审时的行为:模型偏爱自己的答案,对已录用和已拒稿的论文给出相似评分,并会被医学摘要中的措辞倾向影响。另有三项涉及迎合用户、附和用户。研究还列出对开放式问题给出几乎相同的回答,以及生成随机数时分布不均匀。

社会偏见表现不一

研究发现,偏左的政治倾向仍然存在。性别刻板印象和内隐联想偏见已经减弱。对非裔美国人英语使用者的偏见在趋势数据中方向发生了反转。

引用造假下降,但并非每个模型都如此

作为案例研究,Queen和Zou考察了科学引文的编造情况。在Walters和Wilder 2023年的原始研究中,GPT-3.5编造了55%的参考文献。斯坦福研究者把同样的提示词发给当前模型。GPT-6.1 Sol的编造比例为0%,Claude Sonnet 5.5为1%。同样是2026年模型的Qwen3.7-Flash在同一测试中仍编造了69%的参考文献。

研究提醒不要把这些结果当成万事大吉。两跳问题要求模型把两个已知事实合起来回答。在这类问题上,Claude Sonnet 5.5对两个单独问题都能答对,但仍有约10%的情况答错。原始论文报告ChatGPT的这一比例为43%。反转诅咒以及成对时间相关问题上自相矛盾的答案也已减弱,但仍可检测到。

模型之间的差距依然很大

即使在同一发布窗口内,不同模型的结果也不一样。在2026年7月至9月发布的模型中,失效结论的数量从DeepSeek V4 Pro的11项到GPT-6.1 Sol的30项不等。Queen和Zou发现,发布日期、开发商和模型规模都不能可靠预测这一分布。

作者的建议

Queen和Zou的结论是,关于LLM的实证结论应当作为对特定模型在特定时间点的观察来呈现,而不是当作普遍真理。论文应记录模型、版本和日期,并公开提示词和分析代码,以便结论能在未来的模型上重新检验。

评论 0

资料来源

9
  1. 01Rapid LLM development is outrunning the research meant to explain it, study findsEN
  2. 02Hyperion Research: Nearly 20% Growth in HPC and AI-for-Science Server Market, Dell Takes Lead from HPEEN
  3. 03Microsoft Research Focus - Edition #97EN
  4. 04How Check Point accelerates vulnerability research with DaybreakEN
  5. 05Hanwha Q-Cells shifts focus to research and development in EuropeEN
  6. 06Accelsius Supports NSF Data Center Efficiency Research at VillanovaEN
  7. 07Cultivated meat: Is the safety evidence strong enough? - FoodNavigator.comEN
  8. 08 On this day in space! Oct. 30, 1964: NASA's weird Lunar Landing Research Vehicle takes 1st test flight to help Apollo astronauts land on the moon EN
  9. 09What Women in Indonesia and Malaysia Want From Research on Climate and HealthEN

本文所有数字与引语均来自下列来源,未添加来源之外的内容。

本内容由编辑部在人工智能辅助下制作完成。

郑雪莉

郑雪莉

科学与健康

郑雪莉负责FLASH24科学与健康版块,日常从论文预印本、期刊官网和机构通报中抓取信息,只盯数据来源和实验设计是否站得住。她习惯把每项统计数字与原始数据集交叉比对,遇到百分比先算清分母再决定是否采用。她常联系一线研究人员核实细节,也会在日历上标记大型队列研究的发布节点,提前比对不同团队的结果。私下她学材料物理,还自己架望远镜观测,这让她对测量误差和观测条件格外敏感。她有一条硬规矩:样本量、利益冲突或方法说明缺一项,稿子就不发。

编辑部 →

评论

0
  1. 还没有评论——来说两句吧。

写评论

评论公开展示。我们不发布辱骂、垃圾信息和广告内容。