基准测试开始测量 AI 的犹豫，而不只是答案

两项工作从相反的方向攻同一个问题，落地时间并不相同。GitHub 发布 ReviewBench，这是一个面向 AI 代码审查的公开基准，建在对该平台 10390 万个拉取请求的分析之上。加州大学河滨分校的计算机科学家则另辟一路，描述了一种方法，用来找出让语言模型语气笃定却答错的内部特征。

两者都不是产品发布。它们都想回答买家和用户反复追问的一个问题：当模型说出某句话时，旁人凭什么判断该不该信它？

GitHub 做了什么

ReviewBench 在 GitHub 博客上公布，包含来自 187 个开源仓库、覆盖 19 种语言的 219 个公开拉取请求。GitHub 称，语言和仓库规模的构成与其整体分布高度吻合。发布前，资深工程师手工标注了金标准真阳性。数据集是公开的。

该基准按四项指标打分，并给每一条发现标注严重程度和类别。团队可以按自己关心的审查类型切分结果。GitHub 表示，这一改动让它能比较两类审查器：一类抛出大量问题，另一类保持沉默；也能比较高捕获率与小建议之间的差别。

关键数字是 10390 万。GitHub 分析了这么多拉取请求，用来刻画真实的审查工作量，219 个案例遵循这一分布。GitHub 做了一处刻意的调整：拉取请求的规模权重向可审查的中间段和长尾倾斜，以减少超大改动被过度代表的情况。该公司还表示，其对 Copilot 代码审查的离线评估如今能更可靠地预判生产实验的走向。

仍然未知的是任何竞争对手的得分。GitHub 邀请其他代码审查系统接入并提交结果。这篇博文没有给出排行榜，也没有公布基线模型的数字。

为什么自信不等于正确

加州大学河滨分校的这项研究由博士生 Het Patel 领衔，考察了两个开放权重模型的内部：Meta 的 Llama-3.1-8B（80 亿参数）和 Google 的 Gemma-2-9B（90 亿参数）。团队用多项选择题提问，把答案分成四类：正确或错误，与自信或不确定交叉组合。

他们用稀疏自编码器找到了三类内部特征：一类主要与不确定性相关，一类主要与错误答案相关，还有一类是混合的。抑制那些纯粹与不确定性相关的特征，会大幅拉低准确率。这说明这些特征在生成好答案时确实起了作用。校方的报道称，改动某些特征可以改变模型行为，而无需重新训练整个模型。

"这个领域的主要假设是，模型自信时就很可能正确，模型不确定时就更可能出错，"Patel 说。"但我们经常看到有充分记录的反例。"

这一点值得记住。置信度分数不是可靠性分数，一个说话留有余地的模型也可能答对。有些团队设置了护栏，把低于某个置信度阈值的答案拦下来。这项研究意味着，那个阈值测的是错误的信号。

更小的模型，更有分寸的说法

同一套纪律还有更安静的样本出现在别处。GitHub 上一个名为 Jeff-Code 的项目，在编码智能体里把一个 8 亿参数的决策模型与 Qwen 3.8-27B（270 亿参数）配对。它报告任务完成速度快了 47%（耗时减少 32%），通过率持平。数字精确得少见：通过率 62.4% 对 62.8%，配对差值为负 0.2 个百分点，95% 区间为负 2.6 到正 2.1，样本是 1242 对任务。

该项目也报告了失败的地方。在 Terminal-Bench 2.0（0.96 倍）和 SkillsBench（0.91 倍）上没有明显的加速。每一轮都关掉思考会更快，但代价是 7.6 个百分点。把阈值放宽到 0.7，代价是 4.5 个百分点。

另一边，Reflection 推出了 Beam，一个 5010 亿参数的开放权重模型，激活参数 230 亿，并同时公布了一张很宽的基准表。Beam 在 SWE-bench Verified 上得 80.9 分，在 AIME 2026 上得 97.8 分。该公司称，它用少 3 到 4 倍的推理算力达到与 GLM-5.2 相当的结果。模型仍在最后的红队测试阶段；权重、技术报告和模型卡承诺在本月晚些时候放出。

厂商自己的基准表不是中立证据，Reflection 的限定说明很重要。它的 AA Omniscience 指数标注为仅公开划分，用的是自家结果。不过，效率方面的说法是那种等权重发布后就能核实的说法。

数字被借用的地方

熟悉的基准名字传得很快，而且不一定原样传。Liquid AI 的 d1 决策模型在六个应用上与 GPT-6.1 Sol 和 Claude Opus 5.5 做了对比。该公司称，它在其中四个上追平或超过 GPT-6.1 Sol，成本低 19 到 200 倍。在一个视觉检测演示里，它报告分拣良品与缺陷件的准确率为 85% 到 97%。它注明，这个模型从未针对该任务训练过。

Interfaze 为其 Interfaze 1.1 Lite 模型公布了一张基准表。表从 GPQA Diamond（85.9，Interfaze 为 92.4）一直排到 VoxPopuli 语音识别的词错误率。这是厂商之间的对比，不是第三方审计。

在模型厂商之外，Veris 发布了一份语音智能体基准，它更有意思的地方在于测的是什么。在 VAmoS Pro Bench 上，来电者背后一台开着的电视把合并任务完成率从 38.7% 压到 8.6%。14 套语音方案里有 9 套在有电视噪声的通话中完成率不到 5%。最好的一套 Phonic 在 1.42 秒延迟下达到 57.5% 的任务完成率；最差的一套是 Pipecat 级联，只有 17.3%。

Veris 坦率说明了局限。这块榜单只是一场考试，建立在一家公用事业公司的政策之上，用的是模拟来电者。这比一般能力排名窄得多，Veris 也是这么说的。

底下那个更早的争论

这些都没有解决更深的问题。David Chalmers 关于大语言模型是否可能有意识的论文在 2024 年 8 月修订，其中论证当前模型缺少循环处理、全局工作空间和统一的能动性。他的结论是，今天的模型有意识的可能性不大，但后继模型可能有。

那是背景，不是新闻，也不直接关系到代码审查器能不能抓到 bug。但它解释了为什么自信这个问题难。一个能写出流畅、笃定文字的模型，并没有另一套能力来判断自己错了。加州大学河滨分校的工作表明，这样的信号可以被找到并调整。GitHub 的工作表明，它可以被打分。

两者都没有提供买家能写进采购文件的单一数字。ReviewBench 还没有公布竞争对手的结果。加州大学河滨分校的方法只在两个开放权重模型上演示过，而不是大多数企业使用的闭源系统。Beam 的权重还没放出来。在这些缺口补上之前，对"这个模型可靠吗"的诚实回答仍然是一组各自标明了范围的窄测量。