Gemini 4 Carbon 以一分优势领跑 AI 榜单,斯坦福研究却发现大模型结论会过期
据 Tom's Hardware 报道,谷歌 Gemini 4 Carbon 在 Artificial Analysis 智能指数 V5 上得分 59,比 Claude Opus 5.5 高出一分。The Decoder 则报道了一项研究:被广泛引用的 50 条大模型结论中,有 44% 已经过期。

智能指数上的一分优势
榜首的差距只有一分。Gemini 4 Carbon 在智能指数 V5 上拿到 59 分,比 Claude Opus 5.5 高一分,比 OpenAI 的 GPT-6 Astra 高出两分。
照着榜单挑模型的买家,现在要解读的就是这一分的差距。这算不上稳固的领先。谷歌没有说明 Gemini 4 Carbon 何时会扩大开放范围。
据 Tom's Hardware 报道,该模型在整套九项评测中有四项排名第一。它在智能指数测试中的单任务成本为 7.76 美元。据 The Hacker News 报道,Gemini 4 Carbon 在漏洞发现、利用和修补的基准测试中领先。据 Ars Technica 报道,谷歌公布这款模型时采用分阶段发布,可能要等上一段时间。
谷歌称 Carbon 在 WebDev Arena 上提升了 89 分,目前在该榜排名第四。
领先为何脆弱
基准测试会变旧。斯坦福的 Owen Queen 和 James Zou 用 20 个模型检验了 50 条被广泛引用的关于大语言模型的结论。
他们发现,其中 44% 的结论已经过期。在有预估过期日期的 22 条结论中,平均寿命为 15.7 个月。一年后,16% 已经过期;两年后,这一比例升到 39%。这些模型由八家开发者在 2024 年 7 月至 2026 年 9 月之间发布。关于模型做不到什么的结论失效最快:九条与推理有关的结论中有五条被判定为过期,没有一条保持成立或变得更强。
即便在同一发布窗口内,结果也不一样。在 2026 年 7 月至 9 月发布的模型中,过期结论从 DeepSeek V4 Pro 的 11 条到 GPT-6.1 Sol 的 30 条不等。
虚构引用测试是最清楚的一例。在 Walters 和 Wilder 2023 年的研究中,GPT-3.5 编造了 55% 的参考文献。面对同样的提示,GPT-6.1 Sol 的编造比例为 0%,Claude Sonnet 5.5 为 1%。Qwen3.7-Flash 的编造比例仍有 69%。
Queen 和 Zou 的结论很克制:关于大语言模型的结论,应当作为特定模型在特定时间点的观察来呈现,而不是当作普遍真理。
基准测试决定不了编程和知识工作
在综合指数上领先一分,并不等于在每个任务上都领先。
据 Ars Technica 报道,Gemini 4 Carbon 在谷歌几乎每一项测试中都胜过 GPT-6 Astra、Claude Opus 5.5 和 Claude Fable 5.1,但只高出几分。Artificial Analysis 表示,在编程方面,该模型不如搭配 Claude Opus 5.5 的 Claude Code,在知识工作上也不及 Grok 4.7、Muse Wonder 和 Kimi K3.1 Pro。在追踪知识与幻觉的 AA-Omniscience 上,Gemini 4 Carbon 得 54 分,是对比中最好的成绩,但距离在 -100 到 +100 的量表上稳定召回仍然很远。
价格是对比的另一半。Gemini 4 Carbon 单任务 7.76 美元,低于 Claude Opus 5.5 和 Sonnet 5.5 的最高档加回退配置。
它比 GPT-6.1 Sol(max)贵约六倍,比开源的 DeepSeek V4.1 Flash 1017 贵约 13 倍,后者在智能指数上得 32 分。Claude Fable 5.1 的单任务成本为 12.99 美元。据 Tom's Hardware 引用的 Arena.ai 数据,在更低的价格区间,GLM 5.3-Flash 和 DeepSeek V4 Pro 等中国开源模型占据了帕累托前沿。
访问权限、安全声明与未知之处
访问仍然受限。谷歌先通过 Fairwind Program 向网络防御人员提供 Gemini 4 Carbon,更广泛的开放要在此之后。
安全声明是宣传中最响的部分。谷歌称,该模型生成无漏洞代码的可能性是 Argon 的两倍。Chrome 团队称,它生成高质量补丁的能力比非谷歌模型强 10 倍。据 Ars Technica 报道,谷歌称在漏洞检测、验证和修复方面取得“重大飞跃”。谷歌还强调了与美国政府在模型筛查和发布前测试上的合作。
眼下,榜单顶部换了一个新名字,优势只有一分。
资料来源
23- 01Google reveals new Gemini 4 Carbon AI model, narrowly beating Claude Opus 5.5EN
- 02Rapid LLM development is outrunning the research meant to explain it, study findsEN
- 03Google announces Gemini 4 Carbon, its latest frontier AI model that you can't useEN
- 04Google's Gemini 4 Carbon Leads Benchmarks for Finding, Exploiting, and Patching VulnerabilitiesEN
- 05UC Davis study reveals how crushed shells mitigate ocean acidification - Open Access GovernmentEN
- 06Hanwha Q-Cells shifts focus to research and development in EuropeEN
- 07Drop in Antarctic sea ice melt is driving up salinity in key ocean water mass: Study - Deccan HeraldEN
- 08Hyperion Research: Nearly 20% Growth in HPC and AI-for-Science Server Market, Dell Takes Lead from HPEEN
- 09Antarctic sea ice loss disrupts ocean freshwater system: studyEN
- 10Microsoft Research Focus – Edition #97EN
- 11Water Movement and CO2 Uptake Reshape the Carbon Removal Promise of Ocean Alkalinity EnhancementEN
- 12Researcher-in-the-Loop Evolutionary Discovery of Entanglement-Assisted Quantum Code FamiliesEN
- 13Studying Fraudulent North Korean IT WorkersEN
- 14Explained: How Shrinking Antarctic Sea Ice Is Making Deep Ocean Waters Saltier & Reshaping Global Ocean Circulation - ETV BharatEN
- 15What Women in Indonesia and Malaysia Want From Research on Climate and HealthEN
- 16Antarctic Sea Ice Collapse Flipped Southern Ocean Chemistry: Climate Models Missed It - Tech TimesEN
- 17PML Study Finds New Reserves Could Strengthen CCZ Protection Network - environment coastal & offshoreEN
- 18Quantum Interconnects Link Two 120-Qubit Processors (IBM Research)EN
- 19Cancer rates rising more quickly among younger people, international researchEN
- 20 On this day in space! Oct. 30, 1964: NASA's weird Lunar Landing Research Vehicle takes 1st test flight to help Apollo astronauts land on the moon EN
- 21Earth's ice ages may have been driven by a hidden ocean chain reactionEN
- 22Chinese video AI models beat US rivals in visual quality, but lag on safeguards: HKU studyEN
- 23Claude helped plan risky bird flu research. What did the AI add?EN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。