跳到正文
世界时间EU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

关于人工智能与技术的门户事件 · 分析 · 访谈 · 技术背景

搜索
直播
›

Gemini 4 Carbon 以一分优势领跑 AI 榜单,斯坦福研究却发现大模型结论会过期

据 Tom's Hardware 报道,谷歌 Gemini 4 Carbon 在 Artificial Analysis 智能指数 V5 上得分 59,比 Claude Opus 5.5 高出一分。The Decoder 则报道了一项研究:被广泛引用的 50 条大模型结论中,有 44% 已经过期。

科学分析郑雪莉发布: 2026年11月4日4 分钟阅读资料来源 23
Gemini 4 Carbon 以一分优势领跑 AI 榜单,斯坦福研究却发现大模型结论会过期

智能指数上的一分优势

榜首的差距只有一分。Gemini 4 Carbon 在智能指数 V5 上拿到 59 分,比 Claude Opus 5.5 高一分,比 OpenAI 的 GPT-6 Astra 高出两分。

照着榜单挑模型的买家,现在要解读的就是这一分的差距。这算不上稳固的领先。谷歌没有说明 Gemini 4 Carbon 何时会扩大开放范围。

据 Tom's Hardware 报道,该模型在整套九项评测中有四项排名第一。它在智能指数测试中的单任务成本为 7.76 美元。据 The Hacker News 报道,Gemini 4 Carbon 在漏洞发现、利用和修补的基准测试中领先。据 Ars Technica 报道,谷歌公布这款模型时采用分阶段发布,可能要等上一段时间。

谷歌称 Carbon 在 WebDev Arena 上提升了 89 分,目前在该榜排名第四。

领先为何脆弱

基准测试会变旧。斯坦福的 Owen Queen 和 James Zou 用 20 个模型检验了 50 条被广泛引用的关于大语言模型的结论。

他们发现,其中 44% 的结论已经过期。在有预估过期日期的 22 条结论中,平均寿命为 15.7 个月。一年后,16% 已经过期;两年后,这一比例升到 39%。这些模型由八家开发者在 2024 年 7 月至 2026 年 9 月之间发布。关于模型做不到什么的结论失效最快:九条与推理有关的结论中有五条被判定为过期,没有一条保持成立或变得更强。

即便在同一发布窗口内,结果也不一样。在 2026 年 7 月至 9 月发布的模型中,过期结论从 DeepSeek V4 Pro 的 11 条到 GPT-6.1 Sol 的 30 条不等。

虚构引用测试是最清楚的一例。在 Walters 和 Wilder 2023 年的研究中,GPT-3.5 编造了 55% 的参考文献。面对同样的提示,GPT-6.1 Sol 的编造比例为 0%,Claude Sonnet 5.5 为 1%。Qwen3.7-Flash 的编造比例仍有 69%。

Queen 和 Zou 的结论很克制:关于大语言模型的结论,应当作为特定模型在特定时间点的观察来呈现,而不是当作普遍真理。

基准测试决定不了编程和知识工作

在综合指数上领先一分,并不等于在每个任务上都领先。

据 Ars Technica 报道,Gemini 4 Carbon 在谷歌几乎每一项测试中都胜过 GPT-6 Astra、Claude Opus 5.5 和 Claude Fable 5.1,但只高出几分。Artificial Analysis 表示,在编程方面,该模型不如搭配 Claude Opus 5.5 的 Claude Code,在知识工作上也不及 Grok 4.7、Muse Wonder 和 Kimi K3.1 Pro。在追踪知识与幻觉的 AA-Omniscience 上,Gemini 4 Carbon 得 54 分,是对比中最好的成绩,但距离在 -100 到 +100 的量表上稳定召回仍然很远。

价格是对比的另一半。Gemini 4 Carbon 单任务 7.76 美元,低于 Claude Opus 5.5 和 Sonnet 5.5 的最高档加回退配置。

它比 GPT-6.1 Sol(max)贵约六倍,比开源的 DeepSeek V4.1 Flash 1017 贵约 13 倍,后者在智能指数上得 32 分。Claude Fable 5.1 的单任务成本为 12.99 美元。据 Tom's Hardware 引用的 Arena.ai 数据,在更低的价格区间,GLM 5.3-Flash 和 DeepSeek V4 Pro 等中国开源模型占据了帕累托前沿。

访问权限、安全声明与未知之处

访问仍然受限。谷歌先通过 Fairwind Program 向网络防御人员提供 Gemini 4 Carbon,更广泛的开放要在此之后。

安全声明是宣传中最响的部分。谷歌称,该模型生成无漏洞代码的可能性是 Argon 的两倍。Chrome 团队称,它生成高质量补丁的能力比非谷歌模型强 10 倍。据 Ars Technica 报道,谷歌称在漏洞检测、验证和修复方面取得“重大飞跃”。谷歌还强调了与美国政府在模型筛查和发布前测试上的合作。

眼下,榜单顶部换了一个新名字,优势只有一分。

评论 0

资料来源

23
  1. 01Google reveals new Gemini 4 Carbon AI model, narrowly beating Claude Opus 5.5EN
  2. 02Rapid LLM development is outrunning the research meant to explain it, study findsEN
  3. 03Google announces Gemini 4 Carbon, its latest frontier AI model that you can't useEN
  4. 04Google's Gemini 4 Carbon Leads Benchmarks for Finding, Exploiting, and Patching VulnerabilitiesEN
  5. 05UC Davis study reveals how crushed shells mitigate ocean acidification - Open Access GovernmentEN
  6. 06Hanwha Q-Cells shifts focus to research and development in EuropeEN
  7. 07Drop in Antarctic sea ice melt is driving up salinity in key ocean water mass: Study - Deccan HeraldEN
  8. 08Hyperion Research: Nearly 20% Growth in HPC and AI-for-Science Server Market, Dell Takes Lead from HPEEN
  9. 09Antarctic sea ice loss disrupts ocean freshwater system: studyEN
  10. 10Microsoft Research Focus – Edition #97EN
  11. 11Water Movement and CO2 Uptake Reshape the Carbon Removal Promise of Ocean Alkalinity EnhancementEN
  12. 12Researcher-in-the-Loop Evolutionary Discovery of Entanglement-Assisted Quantum Code FamiliesEN
  13. 13Studying Fraudulent North Korean IT WorkersEN
  14. 14Explained: How Shrinking Antarctic Sea Ice Is Making Deep Ocean Waters Saltier & Reshaping Global Ocean Circulation - ETV BharatEN
  15. 15What Women in Indonesia and Malaysia Want From Research on Climate and HealthEN
  16. 16Antarctic Sea Ice Collapse Flipped Southern Ocean Chemistry: Climate Models Missed It - Tech TimesEN
  17. 17PML Study Finds New Reserves Could Strengthen CCZ Protection Network - environment coastal & offshoreEN
  18. 18Quantum Interconnects Link Two 120-Qubit Processors (IBM Research)EN
  19. 19Cancer rates rising more quickly among younger people, international researchEN
  20. 20 On this day in space! Oct. 30, 1964: NASA's weird Lunar Landing Research Vehicle takes 1st test flight to help Apollo astronauts land on the moon EN
  21. 21Earth's ice ages may have been driven by a hidden ocean chain reactionEN
  22. 22Chinese video AI models beat US rivals in visual quality, but lag on safeguards: HKU studyEN
  23. 23Claude helped plan risky bird flu research. What did the AI add?EN

本文所有数字与引语均来自下列来源,未添加来源之外的内容。

本内容由编辑部在人工智能辅助下制作完成。

郑雪莉

郑雪莉

科学与健康

郑雪莉负责FLASH24科学与健康版块,日常从论文预印本、期刊官网和机构通报中抓取信息,只盯数据来源和实验设计是否站得住。她习惯把每项统计数字与原始数据集交叉比对,遇到百分比先算清分母再决定是否采用。她常联系一线研究人员核实细节,也会在日历上标记大型队列研究的发布节点,提前比对不同团队的结果。私下她学材料物理,还自己架望远镜观测,这让她对测量误差和观测条件格外敏感。她有一条硬规矩:样本量、利益冲突或方法说明缺一项,稿子就不发。

编辑部 →

评论

0
  1. 还没有评论——来说两句吧。

写评论

评论公开展示。我们不发布辱骂、垃圾信息和广告内容。