Gemini 4 Carbon 以一分优势领跑新 AI 指数，任务基准却显示更大差距

榜首的一分优势

它比 OpenAI 的 GPT-6 Astra 高两分，并在该指数九项评测中的四项排名第一。

一分之差决定的是指数榜首，而不是买家需要完成的工作。换一套测试框架后这一优势是否还在，目前没有公开数据。

在该指数上，Gemini 4 Carbon 每项任务花费 7.76 美元。Claude Fable 5.1 为 12.99 美元。Gemini 比 Claude Opus 5.5 和 Sonnet 5.5 都便宜好几美元。谷歌上周发布了这款模型，并通过 Fairwind 计划让网络防御人员优先使用，更大范围的开放要等到之后。Tom's Hardware 还根据基准测试的说法，称它是最不容易产生幻觉的前沿模型。

幻觉得分需要看它的量程。Gemini 4 Carbon 在 AA-Omniscience v1.1 上得 54 分，该量表从 -100 到 +100。有记录以来的最好成绩仍远未达到零幻觉。

指数奖励什么

Artificial Analysis 的 v5 由四个等权重的板块构成：知识工作、编程、科学和通用，各占 25%。编程板块中，FrontierCode 2.0 占 15%，Terminal-Bench 4.0 占 10%。通用板块中，AA-Omniscience v1.1 占 15%，分为准确性和非幻觉两部分，另加 HLE-Diamond 的 10%。

Interconnects 称 AA 指数是最知名的独立智能指标，Epoch AI 的能力指数远远排在第二。它同时称所有这类指数都「存在严重缺陷」。

同一篇分析还在 v5 的排序中发现了紧张的迹象。例如，GPT 6.1 Terra 排在 Claude Fable 5.1 之上。它指出，编程是经过最多验证的用例，开源模型在这一领域竞争力强得多；而在知识工作上，它对开源模型没那么有信心。

该分析主张，单一智能指数的时代应当逐步结束。它预计这需要很长时间。

针对具体任务的测试暴露出更大差距

围绕单一工作构建的基准测试给出的结论更不客气。CloudOpsBench 测试模型在云基础设施工作上的表现，它把搭配 claude-code 测试框架的 Claude Fable 5.1（max）排在首位，解决率为 60.6%。GPT-6 Astra（max）以 58.9% 紧随其后，Gemini 4 Argon（high）为 57.5%。

该榜单上有 18 个模型，最低一路排到 19.1%。同一个模型会因为外面套的工具不同而落在不同名次。排名第一的那次运行在 38.6 小时内消耗了 9790万 token。

SemiAnalysis 的 GDPx 基准测试瞄准的是有经济价值的工作，结果发现领先模型只拿到 12%。FrontierMat 是一组 330 道题，取自航空航天、半导体、具身智能和核聚变研究。它把最强的通用模型定在 53.7%。在配对题目上，跨尺度问题的得分比单尺度低 8.7 分。330 道题中最多只有一个模型解出一半。同一篇论文中的领域适配实验把一款开放权重模型从 36.7% 提升到 55.4%，追平了最强的专有模型。

推理能力不等于可靠性

能力与可靠性之间的落差在临床工作中同样出现。《Nature Communications》上的一项研究比较了六对匹配的推理模型和标准模型，覆盖 12 个医学专科，使用的基准取自真实的电子健康记录。

推理模型产生的假阳性诊断比对应的标准模型多出 34% 以上。它们的可重复性也低约 40%，重复运行的结果更容易不一致。不过，它们的确给出了更准确的初步诊断，也给出了更有临床价值的鉴别诊断。

作者测试的补救办法是监督，而不是更大的模型。在一项有 15 名医生参与的验证中，把推理输出与临床医生复核配对，诊断准确率提高了 20%，假阳性比模型单独工作时减少了 44%。作者提醒，这些结果来自回顾性记录，而非真实的临床接诊。

开放权重带来压力，宣称的数据需要核实

闭源前沿模型并不是唯一的变量。Mistral 于 10 月 29 日发布了 Mistral Large 4 的权重。这是一款多模态模型，Mistral 在欧洲的基础设施上完成训练。Mistral 报告称其在 Terminal-Bench 4.0 上达到 41%，比该模型的预览版高 13 个百分点，输出 token 数也减少了 30%。

该公司还称，Large 4 在 Artificial Analysis 编程智能体指数上以 48% 追平 GLM-5.3，每项任务少用 47% 的 token。这些都是厂商自己报告的数字。

许可条款在这里很关键。Mistral 的开放权重许可允许免费使用和修改，但公司若把该模型作为服务转售，需要另签商业许可。

美团周一发布了 LongCat-2.5。这是一个 16000亿参数的模型，每个 token 约激活 480亿参数。美团用约 5万 块国产加速器完成了训练。它的基准测试成绩还有待独立验证。

除 Fairwind 计划之外，谷歌尚未给出 Gemini 4 Carbon 扩大开放的时间。