新基准与新研究瞄准那些说得笃定却答错的AI模型

10月5日，Reflection推出Beam，这是该公司首个开源权重模型。它是稀疏混合专家架构，总参数5010亿，激活参数230亿，预训练用了238000亿token。公司博客称，权重、技术报告和模型卡将在“本月晚些时候”跟进。博客还说Beam仍在进行最后的红队测试。

Reflection自己给出的数字说明了它的位置。在SWE Bench Pro v2-Hard上，Beam得77.2分，Kimi K3为88.2分。在Terminal Bench v2.1上它得80.1分，K3达到88.3分，DeepSeek V4.1 Flash为90.6分。卖点不是领先，而是成本。同一篇帖子称，Beam的推理分数与GLM-5.2相当，推理算力却少用3到4倍。

为什么笃定的回答不等于正确的回答

这些表格背后的评测问题也有研究角度。加州大学河滨分校一个由博士生Het Patel领导的团队，用稀疏自编码器检查了Meta的Llama-3.1-8B和Google的Gemma-2-9B，两个模型分别是80亿和90亿参数。他们把多项选择答案按对错以及模型自信与否分成四组。团队发现，有些特征主要与不确定相关，有些主要与错误答案相关，还有些两者重叠。据该校的说明，压制那些纯粹与不确定相关的特征后，准确率大幅下降。

“这个领域的主要假设是，模型自信时就很可能正确，模型不确定时就更容易出错，”Patel在该校新闻稿中说。“但我们经常看到有充分记录的反例。”

实际主张是，其中一些内部特征可以调低，而不必重新训练整个模型。Patel把这比作转动旋钮。这一点重要，因为对付过度自信模型的常见办法是再做一次训练。衡量过度自信模型的常见手段，是给答案打分的基准，而不是模型自身的怀疑感。

基准正在为“怀疑”而建

GitHub在10月5日发布ReviewBench，一个面向AI代码审查的开放基准。它基于对GitHub上10390万个拉取请求的分析构建，包含来自187个公开开源仓库、覆盖19种语言的219个拉取请求。GitHub称，资深工程师在发布前独立标注了黄金真阳性样本。它还称，每条发现都带有严重程度和类别标签，团队可以按自己对精确率和召回率的偏好切分结果。

GitHub帖子中那句尴尬的承认针对的是自家产品。公司称，有了ReviewBench，它对Copilot代码审查的离线评估“在预判生产实验方向上变得更有效”。换句话说，旧的离线信号没能足够贴近地追踪生产环境中发生的事。能预测真实世界的基准，与在排行榜上给模型排名的基准，是两种不同的东西。

Veris把同样的思路用到语音智能体上。其VAmoS Pro Bench于10月5日发布，在2694通模拟公用事业账单电话上跑了14套语音方案。任务完成率最高的方案为57.5%，最低只有17.3%。没有任何一个头条数字能概括这么大的差距。该榜单还记录了打断率和每通电话成本。它发现，来电者身后有一台开着的电视时，合并任务完成率从38.7%降到8.6%，而同等音量的街道噪音则没有造成损失。

小模型、小决策、可衡量的结果

并非每次评测都需要一个实验室。一个名为Jeff-Code的GitHub项目于10月5日发布，把8亿参数的决策模型放进Pi的智能体循环里，与Qwen 3.8-27B（270亿参数）并行。Pi是Mario Zechner的编程智能体。Jeff在Qwen每一轮前后各做两次快速判断，每次约0.2秒。一次问它能否自己迈出下一步信息收集，另一次问Qwen是否需要费力思考。

在1242个任务上配对运行的结果是，通过率62.4%，而单独用Qwen为62.8%。作者给出的差值是负0.2个百分点，95%区间为负2.6到正2.1。每个任务耗时降到基线的0.68倍，中位数为0.70。每一轮都关掉思考会更快，但代价是7.6个百分点。把阈值放宽到0.7则损失4.5个百分点。仓库还指出，约5%的任务里，这套设置比单用Qwen多跑了30分钟以上。

最后这个细节正是总体提速数据会掩盖的东西。Matklad在10月5日提出的基准设计论点也是同一个道理。选一个让微基准跑大约300毫秒的输入规模。低于10毫秒就有被解释器启动这类固定开销扭曲的风险，超过一秒又会让重复运行变慢。他明确的前提是，做基准是为了让作者有足够的直觉做出正确决定，而不是为了产出一个精确的测量值。

一波决策模型，各有各的记分牌

Liquid AI在10月5日推出d1，一个返回概率而不是生成token的决策模型。它现在除了文本也接受图像。公司称，它在六个应用上把d1与GPT-6.1 Sol和Claude Opus 5.5做了对比，在其中四个上与GPT-6.1 Sol持平或更好，成本低19到200倍。据博客称，在一个公开的工业检测数据集上，它在没有针对该任务训练的情况下，以85%到97%的准确率分拣良品与次品。

Interfaze同一天公布了另一种形态的系统：Interfaze 1.1 Lite。它把推理核心与负责文档、语音、分割和预测的专用模型混在一起，跑在一张80GB显卡上。其公布的表显示，GPQA Diamond上它得85.9分，Interfaze为92.4分，Claude-Sonnet-4.6为89.9分。olmOCR-Bench上它得83.8分，更大的Interfaze模型为85.7分。这些都是厂商自报、跑在厂商自选基准上的数字，而这正是代码审查和语音基准想要补上的测量缺口。

与之对冲的是成本和速度。一个能在200到300毫秒内给出概率的模型，可以廉价地被核验或丢弃。一个生成一整段自信文字的模型做不到。Sean Goedecke在10月5日提出，像Jev这样的决策模型一旦用例得到验证，就很容易蒸馏成手工搭建的分类器。提示词和它的输出免费提供了带标签的数据。训练者变成了被训练者。

AI之外的证据长什么样

作为对照，看看一项规模大、锚定扎实的研究是什么样。PsyPost在10月4日报道了一项针对250万名以上儿童的研究，发表在The Pediatric Infectious Disease Journal上。研究没有发现两岁前接种MMR疫苗与自闭症之间存在关联。首席研究员、UW Medicine的Todd Burstain对PsyPost说，早先的欧洲研究用的是2000至2012年的数据，当时自闭症的患病率约为美国当前水平的三分之一。他说，按年龄锚定的里程碑式分析可以避免不死时间偏倚。

这就是AI基准正在被拿来对照的标准，而其中大多数差得很远。厂商表格是自报的，常常跑在厂商自己选的基准上，有时还给竞争对手标上“未报告”。Reflection的Beam帖子在这一点上坦率得少见，把自己的分数和对手缺失的分数并列列出，但缺失的条目依然是缺失的。GitHub的ReviewBench、Veris的语音榜单和Jeff-Code的配对运行都朝同一个方向走：公布测试框架、分布和区间，而不只是头条数字。

10月5日的其他发布也符合这个模式：小而可测量的工具，而非宏大的宣称。Reika是一个围绕8B到35B本地模型搭建的编程智能体CLI，它公布了自己的发现。一次中段上下文重写重新处理了8453个token的提示词，花掉7.9分钟的预填充。同一会话里的一次追加只花25个token和3.5秒。Precogly发布了开源威胁建模平台0.4.0版，并加入了OWASP。NASA和IBM公布了一个月球基础模型的微调代码，覆盖陨石坑检测和冰资源前景评估。

这些都没有回答模型是否知道自己不知道什么。加州大学河滨分校的工作表明，内部信号确实存在，而且可以调整。新基准则表明，外部信号一直太粗，注意不到这一点。两种说法其实是一回事。答案和保证是两种不同的输出，而到目前为止，只有其中一种得到了恰当的测量。