跳到正文
世界时间EU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

关于人工智能与技术的门户事件 · 分析 · 访谈 · 技术背景

搜索
直播
›

斯坦福测试:被广泛引用的LLM论断中44%已经过时

斯坦福的Owen Queen和James Zou用20个模型检验了50条被广泛引用的大语言模型论断,发现44%已经过时。在有估算失效日期的22条结论中,平均寿命为15.7个月。

人工智能与模型分析林晓雯发布: 2026年11月4日4 分钟阅读资料来源 18
斯坦福测试:被广泛引用的LLM论断中44%已经过时

这50条论断逐一对照了八家开发商在2024年7月至2026年9月间发布的20个模型。除44%已经过时外,另有34%明显减弱,16%仍然成立,6%变得更强。过时速度随时间加快:一年后有16%过时,两年后达到39%。有估算失效日期的22条结论平均寿命为15.7个月,测试窗口则从2024年7月延续到2026年9月。

什么过时得最快

关于模型做不到什么的论断老化得最厉害。九条与推理相关的结论中有五条已经过时,没有一条保持成立或变得更强。它们包括数清"strawberry"里的字母、在不熟悉的进制下做算术、在长上下文中间丢失信息,以及用户提出质疑时就放弃正确答案。研究者怀疑这些错误都有一个"正确"的结果,等于给开发者提供了明确的训练目标。

关于偏好和倾向的论断寿命更长。在保持成立或变得更强的11条结论中,有三条涉及模型充当评估者:它们偏爱自己的答案,对录用和拒稿的论文给出相似的评分,还会被医学摘要中的措辞倾向左右。另外三条涉及对用户的迎合。偏左的政治倾向依然存在,对开放式问题的回答几乎一模一样,生成的随机数分布并不均匀。

引用问题的改善并不均衡

编造参考文献的情况说明进展多么不均衡。在Walters和Wilder 2023年的原始研究中,GPT-3.5有55%的参考文献是编造的。在同样的提示下,GPT-6.1 Sol编造了0%,Claude Sonnet 5.5编造了1%。同样属于2026年模型的Qwen3.7-Flash仍编造了69%。

两跳问题要求模型把两个它知道的事实结合起来,这仍是薄弱环节。Claude Sonnet 5.5在约10%的情况下仍然失败,而这些情况中它单独回答两个问题时都是正确的;原始论文中ChatGPT的这一比例为43%。"逆转诅咒"以及对成对时间相关问题给出自相矛盾的答案,已经减弱,但仍可检测到。

社会偏见表现不一。偏左的政治倾向依然存在,性别刻板印象和内隐联想偏见已经减弱,而对非裔美国人英语使用者的偏见在趋势数据中方向反转。

模型选择很重要

即使在同一个发布窗口内,结果也差异很大。在2026年7月至9月发布的模型中,过时结论的数量从DeepSeek V4 Pro的11条到GPT-6.1 Sol的30条不等。发布日期、提供商和模型规模都无法可靠地预测这一模式。

研究者的建议

Queen和Zou认为,关于LLM的实证结论应当作为针对特定模型在特定时间点的观察来呈现,而不是当作普遍真理。论文应当记录模型、版本和日期,并公开提示词和分析代码,以便结果能在未来的模型上重新检验。他们提到Andrej Karpathy的一篇帖子,其中谈到人们以为LLM会做什么与它实际如何表现之间的差距,如何影响人们对AI的信任以及使用频率。

评论 0

资料来源

18
  1. 01Rapid LLM development is outrunning the research meant to explain it, study findsEN
  2. 02Opentrons Raises $40 Million Series E Led by Avego to Expand AI-Driven Laboratory AutomationEN
  3. 03Open Science: The open-source AI workbench for scientific researchEN
  4. 04Life Sciences Market for Artificial Intelligence Projected to Reach $10.43Bn by 2030EN
  5. 05Opentrons Announces $40M Series E Round to Standardize AI-Driven Science on Its RobotsEN
  6. 06Hanwha Q-Cells shifts focus to research and development in EuropeEN
  7. 07Android-Smartphones sichern Fotos jetzt automatisch auf Windows-PCsEN
  8. 08CyberKord raises €2.7M to automate IT and cybersecurity operations with AIEN
  9. 09Quantum Interconnects Link Two 120-Qubit Processors (IBM Research)EN
  10. 10Accelsius Supports NSF Data Center Efficiency Research at VillanovaEN
  11. 11Hyperion Research: Nearly 20% Growth in HPC and AI-for-Science Server Market, Dell Takes Lead from HPEEN
  12. 12Chinese automakers reportedly head to Beijing for talks on EU hybrid export quotasEN
  13. 13Avoiding an uncontrolled reentry; boost Hubble and keep the science – IsaacmanEN
  14. 14 On this day in space! Oct. 30, 1964: NASA's weird Lunar Landing Research Vehicle takes 1st test flight to help Apollo astronauts land on the moon EN
  15. 15Microsoft Research Focus – Edition #97EN
  16. 16AI acceleration of science – a personal reflection - Wellcome Sanger Institute BlogEN
  17. 17What Women in Indonesia and Malaysia Want From Research on Climate and HealthEN
  18. 18Claude helped plan risky bird flu research. What did the AI add?EN

本文所有数字与引语均来自下列来源,未添加来源之外的内容。

本内容由编辑部在人工智能辅助下制作完成。

林晓雯

林晓雯

人工智能、模型与技术

林晓雯负责FLASH24的人工智能、模型与技术方向,主要写科技、人工智能与模型、媒体与互联网三个领域。她习惯从论文预印本、开源代码库和厂商技术文档入手,先核对训练数据来源和评测口径,再决定是否落笔。遇到模型跑分,她会自己复现一遍小规模测试,并对照独立第三方榜单,确认数字没有注水。她常联系一线工程师和产品经理,也盯着各大会议截稿日,把不同版本的技术报告放在一起比。业余时间她玩3D打印、折腾老电脑,还关心模型从网络垃圾里学到的偏见问题,这让她对数据清洗格外敏感。她有一条原则:拿不到原始数据的性能宣称,不写。

编辑部 →

评论

0
  1. 还没有评论——来说两句吧。

写评论

评论公开展示。我们不发布辱骂、垃圾信息和广告内容。