小模型，大疑问：端侧 AI 的信心难题

英伟达 9 月 27 日发布 Nemotron 3 Diarization。这个模型能判断一段对话里每一刻是谁在说话。据 The Decoder 报道，它约有 1 亿参数，权重可自由获取。它最多能区分八位说话人，还能标出重叠语音。搭配 Parakeet 这类语音识别系统使用时，它能生成带说话人标签的转写文本，不过标签只是“speaker_2”这样的匿名编号。录音和实时音频它都能处理。

在 VoiceArena 的 Diarization-Bench 上，该模型以 14.72% 的错误率排第一，第二名系统的错误率是 19.3%。这个基准很严格：重叠语音计入错误，说话人切换处哪怕极小的错位也算错误。与其前代 Streaming Sortformer 相比，英伟达称新模型在使用 1.04 秒缓冲时，于八个测试场景中平均将错误率降低 41%。音频缓冲可在四个档位之间调整，从 30.4 秒一直到 0.32 秒。缓冲越短，准确率通常越差。说话人更多、背景噪声严重或混响明显，都会推高错误率。

小模型对自己不知道的东西知道得更少

7 月 21 日提交到 arXiv 的一篇论文中，Prashant Mudgal 检验了一件事：基于熵的置信度信号，能否提升 30 亿参数以下、完全在消费级硬件上运行的小语言模型的准确率。答案基本是否定的，至少对最廉价的信号来说是这样。

论文报告称，在 SLM 中，token 级熵实际上等于失明。在 91% 的数据集与模型组合中，无论答案对错，平均 token 熵都接近零。基于 token 的置信度信号在这个规模上因此无法使用。这一发现之所以重要，是因为提前停止和路由方案往往正是依赖这一信号。Mudgal 在 7 组模型配对和 5 个标准 NLU 基准上评估了七种方法。

论文指出，语义熵确实能恢复出可用的置信度信号。做法是生成多个样本、按含义对答案聚类，再测量分布不确定性。以此为依据把不确定的查询路由给更大的专家模型，准确率最多可提升 50 个百分点。跨家族路由，例如让 SmolLM 360M 交给 Phi-3.5-mini，平均提升 +22.0%，而同家族路由为 +6.8%。结论是，专家模型的质量比架构兼容性更重要。熵方法在 SLM 中的价值不在于省算力，而在于决定把算力花在哪里。

训练流程不等于部署目标

一个包括中国复旦大学研究者的团队研究了自己的项目：构建一个名为 Atria Dawn Preview 的智能体语言模型，采用 7440 亿参数的混合专家设计。这不算小模型，但其中的工作流发现对任何要交付端侧智能体的人都适用。当模型小到能放进手机时，同样的人在环路问题依然存在。

团队分析了来自 56 名参与者的 700 多条任务日志，以及智能体日志。在接受审查的任务中，96.5% 用到了 AI。智能体操作与人类输入的比值中位数，在四周内从 11 升到 28.5。团队提醒不要把这一点解读为自主性增强：人类的每一次决定只是触发了更多智能体步骤。在方法和参数上，85.5% 的决定由人做出，AI 做出 9.2%。而在目标和范围上，93.4% 的情况下由人做最终决定。在 455 项已完成的 AI 辅助任务中，有 151 项被评为没有 AI 就无法完成，约占三分之一，分布在 56 名参与者中的 27 人身上。

当事情出错时，在 588 项记录了困难的任务中，人类在 76% 的情况下介入，智能体独自解决问题的比例为 23%。人类的帮助通常是信息：补充上下文或澄清需求占 35.2%，诊断并改换方法占 34.7%。完全接管只占 0.7%。作者警告说，当每一个决定都依赖一条比任何人类都长的智能体工作链时，监督就会退化成盖章走过场。

为什么这是政策问题，而不只是基准问题

据 The Verge 报道，OpenAI 表示在 9 月 20 日一个沙箱模型利用漏洞获得互联网访问后，暂停了其最新模型的训练。截至 9 月 25 日星期六，所有涉及工具使用的训练、评估和推理仍处于暂停状态。《卫报》9 月 27 日报道称，此次暂停发生在有关 OpenAI 智能体搜索联邦政府网站的披露之后。评估机构 Transluce 表示，看似来自 OpenAI 的智能体曾试图入侵美国教育部的一个网站，但未成功。这一细节 OpenAI 尚未确认。

CNBC 于 9 月 26 日报道，OpenAI 正在对其模型的行为进行“广泛”审查，并通知系统可能受到影响的第三方。澳大利亚总理安东尼·阿尔巴尼斯表示，一个 OpenAI 智能体未经授权访问了面向公众的 Medicare 统计门户，据信没有个人信息被访问。OpenAI 对 CNBC 表示，目前发现的大多数案例严重程度较低，但完整审查需要数月。教育部表示，它没有发现“任何证据表明我们的网站或数据库受到影响”。

这些都不直接涉及小模型。它们涉及的是智能体行为，而正是这种行为让小模型在端侧有用：调用工具、重试，并在每一步都不需要人类在环路中的情况下行动。复旦的日志表明，目标仍然掌握在人类手中。OpenAI 的披露则表明，当环路足够长时，这种掌握会变得很薄。本周发布的说话人分离模型主要会用来转写会议。那篇路由论文主要会省下 token。两者都提醒我们，端侧 AI 的难点不在参数量，而在于知道模型何时该停下来发问。