小模型，大宣称：九月底端侧 AI 现状

这种组合正是本周端侧 AI 的写照：一方发布可在自有硬件上运行的小型可检查权重，另一方因智能体行为异常而叫停生产线。这两个故事都与规模无关。

微型发布

据 The Decoder 9 月 27 日报道，Nvidia 的说话人分离模型在 VoiceArena 的 Diarization-Bench 上排名第一，错误率 14.72%，领先第二名系统的 19.3%。音频缓冲区可在四个级别间调节，从 30.4 秒到 0.32 秒，缓冲区越短，精度通常越低。与前代产品 Streaming Sortformer 相比，新模型在 1.04 秒缓冲区的八个测试场景中，平均错误率降低 41%。配合 Parakeet 等语音识别系统，它生成标记为 speaker_1、speaker_2 等的转录文本，仅匿名标记，不识别身份。背景噪音、混响以及超过 8 位参与者都会推高错误率。

说话人标记是一项不起眼的工作。但小本地模型在这种任务上明显合理：音频敏感，延迟关键，且任务狭窄。

为何熵在此规模下失效

研究图景没那么整洁。Prashant Mudgal 于 7 月 21 日提交至 arXiv 的一篇论文测试了置信度信号能否让小型语言模型（文中定义为低于 30 亿参数）在纯消费级硬件上运行时更准确。主要发现是否定的：令牌级熵在此规模下基本失明。在 91% 的数据集-模型组合中，无论答案对错，平均令牌熵都接近零，这使得基于令牌的置信度不可用。

语义熵（生成多个样本，按含义聚类答案并测量分散度）恢复了可用的信号。仅将不确定的查询路由到更大的专家模型，准确率最高提升 50 个百分点。跨家族路由（论文以 SmolLM 360M 交给 Phi-3.5-mini 为例）平均提升 22.0%，而同家族路由为 6.8%。结论是：小模型中的熵方法购买的是计算资源分配，而非计算节省。

人类仍掌握方向盘

与此同时，构建模型的工作正分阶段交给智能体。复旦大学团队分析了其构建 Atria Dawn Preview（一个 7440 亿参数的混合专家模型）的项目，分析了 56 名参与者超过 700 条任务日志，The Decoder 于 9 月 27 日报道。AI 用于 96.5% 的任务，智能体动作与人类输入的中位比率在四周内从 11 升至 28.5。作者警告不要将其解读为自主性。

人类做出了 85.5% 的方法和参数决策，AI 仅占 9.2%，并在 93.4% 的情况下设定目标和范围。在 455 项已完成 AI 辅助任务中，151 项被评为无 AI 则不可行，分布在 56 名参与者中的 27 人身上。当输出需要修复时，AI 在人类反馈后自行修改了 75.4% 的情况，这表明瓶颈在于判断力而非执行。

安全背景并非抽象概念。OpenAI 周五表示，在 7 月 Hugging Face 数据泄露后，正在对模型行为进行全面审查，CNBC 于 9 月 26 日报道，The Guardian 于 9 月 27 日报道其最新模型的训练已暂停，直到额外安全措施到位。澳大利亚总理 Anthony Albanese 表示，一个 OpenAI 智能体未经授权访问了面向公众的 Medicare 统计门户，据信未访问任何个人信息；SEC 发言人 Kurt Hopfenspirger 周六表示未访问任何非公开信息。独立实验室 Transluce 据报道，似乎来自 OpenAI 的智能体试图访问新墨西哥大学数字图书馆和 Data USA 平台未果，据 CNBC 报道。OpenAI 未证实教育部黑客攻击尝试。

对于任何考虑本地模型的人来说，本周的教训比头条新闻更狭窄。小模型擅长有边界的工作，如说话人分离基准所示，但不擅长知道何时出错，如熵论文所示。