Gemini 4 Carbon 登顶新幻觉指数，但最高分只有 54

谷歌的 Gemini 4 Carbon 位居 AA-Omniscience v1.1 榜首。这项基准测试衡量幻觉与知识召回，Tom's Hardware 在 11 月 3 日报道。该模型在 Artificial Analysis 的 Intelligence Index V5 上得 59 分，比 Claude Opus 5.5（max with fallback）高一分，比 OpenAI 的 GPT-6 Astra（max）高两分。

但有个前提。即便是最好的模型，在无所不知量表上也只拿到 54 分。这个数字值得记住。

智能上的差距很小，价格上的差距却很大。同一篇 Tom's Hardware 文章称，Gemini 4 Carbon 在 Intelligence Index 上每个任务花费 7.76 美元，略低于 Gemini 3.8 Flash（high），比 max with fallback 的 Claude Opus 5.5 或 Sonnet 5.5 便宜好几美元。Claude Fable 5.1 每个任务要 12.99 美元。OpenAI 的 GPT 6.1 Sol（max）每个任务的成本约为 Gemini 4 Carbon 的六分之一。开放权重的 DeepSeek V4.1 Flash 1017 约为十三分之一，不过它在同一指数上只有 32 分。开放是分阶段的：谷歌先通过 Fairwind 计划把模型交给网络防御人员，之后再扩大范围。

这套安全叙事有自己的证据。The Hacker News 在 10 月 29 日报道，Gemini 4 Carbon 在发现、利用和修补漏洞的基准测试中领先。

基准测试越来越难，模型仍然会失手

无所不知这一结果出现时，正赶上一批新评测问世。这些评测特意选没有教科书答案的问题。FrontierMat 于 10 月 30 日上传到 arXiv，包含 330 道题，取材于航空航天、半导体、具身智能和核聚变领域的学术与工业材料研究。实验人员和行业专家逐题验证过。最强的通用模型得分 53.7%。最多只有一个模型能解出一半的题目。

作者把失效方式说得很准确：模型认可的是听起来合理的东西，而不是实际观测到的结果。在配对题目中，需要跨尺度推理的 130 道比单尺度的低 8.7 分。一套领域适配方法用了元加权继续预训练和尺度模块化自蒸馏，把开放权重模型从 36.7% 提到 55.4%，与最强的闭源模型持平，通用基准上没有下降。

其他论文指向同一方向。SafeWebWorld 于 10 月 29 日提交，发现人类判定十个冻结开放模型给出的 3000 条预测中有 86.1% 在语义上合理。但合理性并没有变成正确的安全决策。CLR-Bench 同日发布，考察自我进化的智能体能否学会隐藏规则。相对冻结的智能体，最好提升最多 5 分，而一条写明规则的固定课程让同样方法提升了 14.5 到 16.5 分。

BULLPEN 同样在 arXiv 上，主张只看正确性会漏掉行为、风格和来源。它用 400 道题从回答文本刻画了 260 个开放权重模型，只占全部 24118 道题库的 1.3%。

基准之争的真正焦点

排名每周都在变。Nathan Lambert 的 Interconnects 通讯在 10 月 28 日的一篇文章中讨论了 Artificial Analysis v5 带来的基准测试者困境。10 月 30 日他又回头审视了自己在开放模型和网络风险上的立场。

成本压力本来就在把买家推向更小的开放模型。The Register 在 11 月 3 日报道，Gartner 分析师 Mark Petty 和 Raymond Paquet 预计到 2030 年开放权重模型将承担企业智能体工作流的 90% 步骤。他们预计每一步的价格约为最便宜闭源模型的四分之一，最低可到前沿模型的二十分之一。两位分析师也承认，实际节省更接近五到六倍，因为开放模型可能更啰嗦，重试也更多。

幻觉风险在语言之间也不是平均分布的。SHAKTI 和 TRIDENT 于 10 月 30 日提交，为八个 LLM 系列建了一个印地语的 AI 文本检测基准。他们认为检测研究仍然以英语为中心。

这一切呈现出同一个模式：分数更高，差距更小，而合理性评分抓不住那些失效方式。