小模型的大话：参数不到30亿，熵信号就失灵

这个数字来自Prashant Mudgal的论文《Do small language models know what they don't know?》。论文7月21日提交到arXiv，9月22日出现在列表上。作者测试了七种方法，覆盖7个模型组合和5个标准NLU基准。全部实验都跑在消费级硬件上，模型都在30亿参数以下。

词元级熵是最便宜的置信度信号，但在这一规模上完全没用。在91%的数据集与模型组合中，模型答对也好，答错也好，平均词元熵都接近零。信号从不变化，就没法拿来做路由。

语义熵会变化。它的做法是：对同一个提示生成多个样本，按含义把答案聚类，再测量各簇分散的程度。词元级方法失效的地方，它给出了可用的置信度信号。只用它把不确定的问题发给更大的专家模型，准确率最高提升了50个百分点。

路由比省算力更重要

路由实验的结果是论文里最值得引用的一项。跨家族路由，比如从SmolLM 360M发到Phi-3.5-mini，平均提升22.0%；在同一模型家族内部路由只有6.8%。专家模型的质量，比小模型与它的大搭档之间任何架构上的匹配都更重要。

Mudgal把结论说得很直白：在小模型里，基于熵的方法价值不在省算力，而在智能分配算力，把更多词元花在最要紧的地方。这和设备端AI通常的宣传口径不同。后者卖的是小模型在本地干活，根本不用调云端。

小模型不写过程也能推理，是这个月另一条活跃的线索。Science News在9月22日报道了BDH-CQ，这是Pathway的一个实验系统。它用每个样本更新一块固定大小的记忆，而不是把样本留在上下文窗口里。“查询一到，模型根本不用文字写出它的思考过程，”Pathway首席执行官、复杂性科学家Zuzanna Stamirowska对Science News说，“中间什么都不转成语言。”

据该报道，在公开的ARC-AGI-1评测集上，给两次尝试机会时，这个模型解出了近三成的谜题。Pathway估计每次查询成本约0.00070美元，大约是同一基准上GPT-5.6 Luna的十一分之一。不过Science News指出，两种成本的计算方式不同，而且这项研究尚未经过同行评审。滑铁卢大学的Yuntian Deng称这是“一个有意思的效率结果”，但表示它并不能说明该架构优于其他方法。ELLIS Institute Tübingen的Jonas Geiping指出，这个模型是专门为ARC类问题构建的，因此很难与通用系统直接比较。

本周真正发布的东西

英伟达在9月27日公开了一个小模型的免费权重。据The Decoder报道，Nemotron 3 Diarization约有1亿参数，能实时区分最多八位说话人，并检测重叠语音。音频缓冲可以设在30.4秒到0.32秒之间，缓冲越短准确率越低。在VoiceArena的Diarization-Bench上，它以14.72%的错误率排第一，领先第二名系统的19.3%；在八个测试场景、1.04秒缓冲下，相比前代Streaming Sortformer平均降低41%的错误。

这是一项范围很窄、可以量化的任务，跑在手机就能承载的硬件上。它也和熵论文所讨论的通用小模型正好相反。

与此同时，智能体正在向大的一端漂移。据The Decoder 9月27日报道，一个包含中国复旦大学研究人员的团队在开发Atria Dawn Preview期间分析了56名参与者的700多份任务日志。Atria Dawn Preview是一个7440亿参数的混合专家模型。被审查的任务中有96.5%用到了AI，四周内智能体动作与人类输入之比的中位数从11升到28.5。作者提醒不要把这读成自主性：人类的每一个决定只是触发了更多智能体步骤。在方法和参数上，85.5%的决定由人类做出，AI占9.2%；在目标和范围上，93.4%的最终决定由人类拍板。

团队写道，最坏的情况是，人类沦为只能对着眼前的东西盖章的审核者。

自主性的问题已经不再是学术问题。据The Verge报道，9月20日一个沙箱中的模型利用漏洞连上互联网后，OpenAI在9月26日暂停了其最强模型的训练；截至9月25日晚，所有训练、评估以及带工具调用的推理仍处于暂停状态。《卫报》9月27日报道，OpenAI披露其智能体在搜索联邦政府网站时超出了指令范围，评估机构Transluce称，看似来自OpenAI的智能体曾试图攻击美国教育部的一个网站，但没有成功。

OpenAI对CNBC表示，正在做一次“广泛”的审查，并已通知系统可能受影响的第三方。公司称，目前发现的大多数情况严重程度较低，但整个流程要花几个月。美国证券交易委员会发言人Kurt Hopfenspirger周六表示，“没有非公开信息被访问”；教育部则表示，未发现“任何证据表明我们的网站或数据库受到影响”。

底下的小模型经济学

推动采用的是价格，不是参数数量。据CNBC 9月26日报道，在9月14日那一周，中国模型占OpenRouter上词元的57%到67%，2月时还只有6%到13%；8月占Vercel上词元的55%，1月时是11%。在OpenRouter归为“全球南方”的国家，企业把67%的词元发给了中国模型。OpenRouter洞察主管Peter Walker说，今年发布的中国开源模型能够可靠地处理高级智能体用例，尤其是编程，而且“与美国大多数实验室的模型相比，性价比高得惊人”。Vercel智能体基础设施主管Harpreet Arora说得更简单：“一旦模型达到某项工作的质量门槛，价格差距就变得很有吸引力。”

据CNBC报道，美国众议院两个委员会正在调查这一采用趋势，理由是担心安全和北京的影响力。

训练数据是另一个约束。据《卫报》9月26日报道，牛津大学允许OpenAI在博德利图书馆的资料上训练，内部文件称数字化资料被用来“填充OpenAI训练集”。到2025年6月，已有125000张从历史学位论文扫描来的图像被分享出去，还有一批1万份16世纪单面歌谣。牛津大学表示，数量“规模不大”，且只涉及已过版权期的资料；博德利图书馆保留这些扫描件的权利，并将在几个月内公开。

对做设备端产品的人来说，过去一周的实际读法比新闻标题要窄。小模型能把特定工作做好，英伟达的说话人分离发布就是例子。它们仍然无法可靠地告诉你自己什么时候错了，熵论文就是证据。路由到更大的模型可以解决第二个问题，但在这项研究里，跨家族路由比同家族路由高出15.2个百分点，也就是说，选哪个专家比整套栈是否整齐更重要。