Gemini 4 Argon 只向少数审核过的专家开放,幻觉评测标准随之收紧
9月30日星期三,谷歌开始向一小批经过审核的网络安全专家推送 Gemini 4 Argon,这是它迄今最强的模型。出于滥用风险的考虑,公司暂不向公众开放。

9月30日星期三,谷歌开始向一批经过审核的网络安全专家推送 Gemini 4 Argon,这是它迄今最强的模型。出于滥用风险的考虑,公司没有向公众开放。谷歌在博客文章中说,它自愿让美国政府提前使用。据《卫报》报道,公司会先收集测试者的反馈,再考虑扩大开放范围。
这种谨慎的姿态,与谷歌为这款模型给出的说法放在一起并不协调。据TechCrunch引用,谷歌在发布博客中称,Argon 在多项 AI 基准测试中明显高于 OpenAI 的 GPT-6 Astra 以及 Anthropic 的 Fable 和 Opus,数据来自评测初创公司 Vals。谷歌还说,Argon 能自主发现、验证并修补关键的软件漏洞。这些说的是能力,不是可靠性。两者并不是一回事。
幻觉的问题正卡在这里。一个在推理或编程基准上得分很高的模型,照样会给出自信的错误答案。最新的、与幻觉相关的材料指向两个方向。统一多模态模型中梯度冲突指标的受控审计是近期论文里更有意思的一篇,9月29日提交到 arXiv。它检验的是一个被广泛使用的代理指标,是否真的预测了研究者以为它预测的东西。结论是并不预测。
作者搭建了一个名为 GRIDUMM 的测试平台,复现统一多模态模型训练的关键结构要素,让理解与生成之间的真实取舍变得可以精确计算。在 63 种配置、372 个实测检查点上,没有任何方向性冲突指标与结果的绝对 Spearman 相关系数达到 0.3,且置信区间排除零。他们做了一项剂量反应干预,单调地压制冲突,取舍关系却毫无变化,从而把相关性和因果性分开。功能性干扰指标的表现优于方向性冲突指标,训练损失则与取舍关系高度同步。作者没有说冲突指标毫无用处。他们说,这个指标作为诊断目标是否有效,必须先被验证,而不能默认成立。
这是一个范围很窄的结论,针对的也是一类范围很窄的模型。但正是这类发现,会让任何盯着排行榜看的人停一下。
更新的基准到底在测什么
同一时间窗口内提交的另外两篇 arXiv 论文,态度同样怀疑。ChartDensity-Bench 于9月30日提交,考察多模态大语言模型在受控视觉密度下从科学图表中还原数值数据的能力。它把同时展示的图表数量设为 k 等于 1、3、6 和 9。对五个近期多模态大模型的实验显示,视觉密度上升时数值还原质量下降。下降幅度在不同模型之间差别很大。论文的图表级配对比较发现,同一张源图表放进更密集的视觉环境后,还原误差会更高。这是一种与幻觉相邻的失效模式,而且测得很干净。模型没有拒答,它在给出数字。
第三篇论文是扩散语言模型智能体的反向评分,9月29日提交,追踪了扩散式语言模型智能体的一种具体失效。它们会陷进重试循环,在某个动作早已失败很久之后还反复发出它。作者把原因归于掩码解码:模型先确定它最有把握的位置,把不确定的位置往后放。到了失败状态,上下文里已经有一个现成的高置信填充项,就是那个已经失败的动作本身。他们把这种失真建模为一种与任务无关的污染,并提出一种免训练的对策,名为 Reflect Reverse,在四个多轮具身基准上做了评估。
这三篇论文有一个共同点。每一篇都单独拎出模型自信出错的一种具体方式,在受控条件下测量,然后发现流行的代理指标并没有跟上真实结果。它们都没有给出一个通用的幻觉分数。它们都在暗示,通用幻觉分数所起的作用,比发布者宣称的要小。
想知道一个基准能多大程度改变讨论,可以看看决策模型这个领域。InfoQ 报道,TypeSafe AI 发布了 Jev,它根本不生成文本,而是返回带置信度数值的、有类型的概率化决策。调用方代码可以在阈值之上采取行动,在阈值之下向上转交。输入价格为每百万 token 0.042 美元,输出免费,上下文窗口为 32000 个 token,TypeSafe 给出的端到端延迟为 70 毫秒到 500 毫秒。Vercel 在第二天就把 Jev 加进了 AI Gateway。它说这款模型在 24 小时内覆盖了近 13% 的付费团队,是 GPT-5.6 系列份额的两倍。
亚马逊随后跟进。TechCrunch 10月1日报道,AWS 发布了 Strands Decider 2B,这是一个受 Jev 启发的开源决策模型,基于 Qwen3.5-2B 的躯干构建。它在预先确定的选项之间做选择,并返回一个置信度度量。亚马逊杰出工程师 Marc Brooker 对 TechCrunch 说,这款模型一度在同尺寸模型的 Jevbench 排名上冲到第一。他说,吸引力在于它把工作流中的一个环节做得更可靠,靠的是置信度分数和封闭的答案域,延迟更低,成本也可能更低。
TypeSafe 创始人 Diogo Almeida 对这股拥挤毫不客气。他对 TechCrunch 说:“我知道大家觉得这是一场淘金热,但他们可能低估了让模型真正变聪明有多难。”他说目前这一批“更像是”一群模仿者。这个判断是否成立另说,方向是清楚的:一些开发者应对可靠性问题的办法,是收窄输出空间,而不是承诺一个更好的通用模型。
安全论证先于证据到来
谷歌限制 Argon 的理由是,这一级别的前沿能力需要分阶段推进。谷歌首席 AI 架构师 Koray Kavukcuoglu 在发布模型的博客文章中这样写道。谷歌说,Argon 被设计为拒绝那些可能帮助实施网络攻击、或帮助开发生化武器与核武器的请求。它还会监测模型的推理过程,防止它偏离用户的意图,研究者把这种风险称为失准。
《卫报》报道,这种谨慎的推送方式与 Anthropic 相似,后者一直把 Claude Mythos Preview 限制在少数可信组织内。华盛顿在 6 月曾短暂迫使 Anthropic 暂停外界访问其公开发布的 Claude Mythos 和 Claude Fable 模型。此后它设立了一个自愿程序,在发布前审核最强的 AI 模型。这一消息公布的前一天,唐纳德·特朗普在白宫接待了包括 Sundar Pichai 和 Anthropic 的 Dario Amodei 在内的科技高管,他们签署了一份自愿协议,承诺管控自家 AI 系统的风险。
谷歌说,早期测试者用 Argon 发现了世界多家医院所用软件中的一个漏洞,该漏洞会泄露敏感个人信息。其他先进模型都没能发现。这只是一个来自厂商的个例,说的是一个尚未公开流通的模型。应当把它当作利益相关方给出的能力说法。
来源之争同时在推进。CNBC 报道,OpenAI 说它识别并阻断了一场有组织地提取其模型受保护推理内容的行动。它把其中一个核心活动簇关联到中国初创公司 Moonshot AI。相关活动始于 7 月初,两天内激增到来自 4000 多名用户的 16000 次请求,相关活动涉及的用户超过 15000 名。OpenAI 说,操作者没有突破其加密、数据库或存储的用户对话。它说已在 7 月 28 日前完全阻断这场行动。
The Register 指出了这桩投诉的尴尬之处,毕竟 OpenAI 自己就有用网络数据训练的历史。它报道说,The Register 曾询问 OpenAI 7 月被针对的是哪些模型,没有收到回复。它还报道,特朗普的科技助理 Michael Kratsios 在 7 月底指责 Moonshot AI 通过蒸馏 Anthropic 的 Fable 造出了 Kimi K3 模型。在那篇报道一周前发布的 Anthropic Claude Opus 5.5,带有一种名为 preserved thinking 的防蒸馏机制,该机制随 Fable 5.1 一同推出。
Moonshot 没有立即回应 CNBC 的置评请求,The Register 也表示没有立即收到回复。所以在公开记录里,这项核心指控仍然只有一方说法。
另一条值得关注的线索是训练数据的来源和使用条件。《卫报》10月1日报道,Anthropic 敦促阿尔巴尼斯政府考虑以退出机制为条件,有条件地批准用澳大利亚版权作品进行训练。它承认自己无法获得全面的版权豁免。ABC 和 SBS 在提交给联邦议会调查的材料中表示反对。ABC 警告说澳大利亚新闻业会被蚕食,两家广播机构都建议把 AI 公司纳入新闻议价激励范围。
Anthropic 的提交材料声称这项技术可以改变澳大利亚经济。它同时警告说,这对国家安全、关键基础设施韧性和公共安全都有严重影响。议会人工智能联合专责委员会下周在悉尼举行听证会,Anthropic 和 OpenAI 的高管预计出席。
这一切都没有回答某个具体模型是否可靠。它确实说明,这个行业现在抛出可靠性说法的速度,快过它抛出检验方法的 20亿。现存的检验方法往往范围狭窄、条件受控,而且对人人都在引用的那些代理指标并不客气。
资料来源
13- 01Google rolls out new Gemini AI model but restricts access over safety concernsEN
- 02Google releases Gemini 4 Argon, called its most powerful model yetEN
- 03Does Gradient Conflict Predict the Understanding-Generation Trade-off? A Controlled Audit of Conflict-Metric Validity in Unified Multimodal ModelsEN
- 04ChartDensity-Bench: Benchmarking MLLMs for Numerical Data Reconstruction under Visual DensityEN
- 05Does This Action Still Explain the Task? Reverse Scoring for Diffusion Language Model AgentsEN
- 06TypeSafe AI Releases Jev: A Decision-Only Model That Returns Typed Probabilities Instead of TextEN
- 07Amazon releases its own Jev clone as decision models flood the webEN
- 08AI race heats up as OpenAI flags alleged model-copying campaignEN
- 09Irony alert: OpenAI whines that Chinese model stole its special IP that it stole from everybody elseEN
- 10Anthropic pushes for opt-out model for Australian content as ABC warns of 'cannibalisation' of newsEN
- 11Microsoft AI releases new transcription and text-to-speech models for voice agentsEN
- 12Ideogram says its new model can edit part of an image without messing up the restEN
- 13ThreatsDay: AI-Powered Zero-Day Chain, 543K Live Secrets, Model Inspection RCE and 13 More StoriesEN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。