基准测试遍地都是，测出来的东西却没实验室说的那么多

GitHub在10月5日发布ReviewBench。这是面向AI代码审查的开放基准，取材于19种语言里的219个公开拉取请求。GitHub称，这套集合参照流经GitHub的10390万个拉取请求建模。发布之前，资深工程师逐条标注了真阳性。GitHub表示数据集已经公开，新的代码审查系统可以接入。

发布时间不如构建方式重要。ReviewBench用四项指标给审查系统打分。每一条发现都按严重程度和类别标注，团队因此能看出模型是抓到了严重缺陷，还是只产出了噪音。GitHub还说，对Copilot代码审查的离线评估现在更能预测某项改动在生产环境中是否有帮助。这个说法值得检验：基准的分数能反映用户实际看到的结果，它才值得信任。

电视一开就失灵的语音智能体

同一天，Veris公布了VAmoS Pro榜单的结果，其中一条发现读起来像警告标签。测试模拟了2694通电话，任务是公用事业账单业务。通话者身后有电视在播放时，汇总任务完成率从38.7%降到8.6%。榜单显示，同等强度的街道噪音没有造成任何损失。14套语音方案里有9套完成的电视干扰通话不足5%。

Veris把Phonic排在首位，任务完成率57.5%，延迟1.42秒。Grok Voice Think Fast 2.0以44.7%紧随其后，Gemini 3.8 Live为40.1%。Hugging Face的Whisper、gpt-oss-120b和Kokoro组合排在末位，为19.0%。Veris明确说明，这只是针对一家公用事业公司政策的一场考试。排序应当作快照看，而不是对厂商的裁决。

同一榜单还测试了8个决策模型，考察智能体该在什么时候开口。Cloudflare的Clef Flash和Nimble抢话最少。Clef Flash的回应比Nimble快约1秒。在另一轮600通电话的测试中，Veris称采用语义轮次检测后，打断行为从通话者话轮的52%降到11%。这个数字来自厂商自己的测试，并非独立审计。

效率方面的说法也需要同样的审视

Reflection在10月5日推出首个开放权重模型Beam。它采用稀疏专家混合设计，总参数5010亿，激活参数230亿。公司称预训练用了238000亿token。强化学习在10500块Nvidia GB300 GPU上跑了四周。公司还说，Beam在高级推理上追平GLM 5.2，推理算力少用3到4倍。

Beam自己的表格削弱了标题里的说法。在SWE Bench Pro v2-Hard上，Kimi K3得88.2分，Beam为77.2分。在Terminal Bench v2.1上，Kimi K3达到88.3，Beam为80.1。Reflection坦率地把这说成效率优势，而不是能力领先。权重、技术报告和模型卡本月晚些时候才会发布。

更小的项目提出的主张也更小。Pi编程智能体的一个分支Jeff-Code把一个8亿参数的决策模型与Qwen 3.8-27B搭配。它报告的通过率为62.4%，Qwen单独为62.8%，配对差值为负0.2个百分点。每项任务的平均时间也缩短到0.68倍。Liquid AI的决策模型d1于10月5日发布，支持图像。公司称它在200到300毫秒内作答，不生成token。成本比GPT-6.1 Sol和Claude Opus 5.5低19到200倍。

还有两件事不清楚。实验室之外没有人用自己挑选的任务跑过这些系统。厂商也没有公布平均值背后的失败案例。在那之前，基准分数只是购买决策的起点，而不是决策本身。