端侧小模型:论文称91%的token熵信号不可用
7月21日提交的一篇arXiv预印本指出,参数量低于30亿的小语言模型里,token级置信度信号基本失效。无论答案对错,91%的数据集与模型组合的平均token熵都接近于零。

论文作者Prashant Mudgal在消费级硬件上跑了7组模型配对、5个标准NLU基准,比较了7种方法。结论很直接:在这个规模上,token级熵早停行不通。语义熵能给出可用的信号,做法是多次采样,再按含义把答案聚类。把不确定的查询转交给更大的专家模型,准确率最多提升50个百分点。
跨模型家族路由平均提升22.0%,同家族配对只有6.8%。论文举的例子是SmolLM 36000万把任务交给Phi-3.5-mini。作者的意思是:小模型里熵方法的价值不在省下算力,而在把算力分配到该去的地方。
端侧工作为何持续增长
时间点值得注意。据The Decoder报道,9月27日Nvidia发布了Nemotron 3 Diarization,这是一个约1亿参数的模型,用来分辨对话中谁在说话,权重可以免费下载。它最多能区分8位说话人,并标出重叠语音。在VoiceArena的Diarization-Bench上,它目前以14.72%的错误率排在首位,第二名是19.3%。配合Parakeet这类语音识别系统,它能生成带匿名说话人标签的转写文本。参与者越多、背景噪声或混响越强,错误率就越高。
延迟是设计上的取舍,不是白捡的便宜。音频缓冲区可以设成四档,从30.4秒一路降到0.32秒,缓冲区越短,准确率通常越低。Nvidia称,在1.04秒缓冲区的条件下,与上一代Streaming Sortformer相比,该模型在8个测试场景中平均把错误率降低了41%。模型必须在本地而不是数据中心运行时,这类数字才有分量。
同一周还有一个大得多的项目,它对自动化的说法却窄得多。据The Decoder报道,复旦大学研究人员参与的一个团队研究了自己构建Atria Dawn Preview的过程。这是一个采用混合专家架构的智能体语言模型,参数量7440亿。分析覆盖了56名参与者的700多份任务日志。被审查的任务中96.5%用到了AI,四周内智能体动作与人类输入的比值中位数从11升到28.5。作者提醒不要把这读成自主性:人类的每一次决策只是触发了更多智能体步骤。
参与者被问到一个问题:在同样的范围和同样的质量下,没有AI他们能否完成自己那部分任务。455个完成的AI辅助任务中,有151个被评为没有AI就无法完成,大约三分之一,分布在56名参与者中的27人身上。
方法和参数上的决策,人类仍然做了85.5%,AI做了9.2%;目标和范围上的最终决定,93.4%的情况由人类拍板。在588个记录了困难的任务中,出问题时76%靠人工介入推进,23%由智能体单独解决。论文警告说,当每一个决定都依赖一条比任何人类都审不完的智能体工作链时,监督就会退化成盖章。
便宜的模型,昂贵的问题
成本正在改变哪些模型会被采用。据CNBC 9月26日报道,在9月14日那一周,中国模型占OpenRouter所用token的57%到67%,而2月时是6%到13%;8月在Vercel上达到55%,1月时是11%。OpenRouter洞察负责人Peter Walker对CNBC说,今年发布的中国开源模型能可靠地处理高级智能体任务,尤其是编程,这在2025年底还做不到,而且相比美国实验室的大多数模型价格低廉。Vercel智能体基础设施负责人Harpreet Arora说,一旦模型达到某项工作的质量门槛,价格就变得有吸引力。
华盛顿在盯着。美国众议院两个委员会正在调查这一采用趋势,CNBC指出美国前沿模型在总支出上仍然更高。新美国安全中心的Daniel Remler对该媒体说,担忧在于这种整合会把各国拉进中国的技术圈。CNBC引用的数据并不均衡:OpenRouter上约一半的token来自美国公司,而OpenRouter归为全球南方的82个国家的企业,把67%的token发给了中国模型。
小模型在这场较量里处境尴尬。它们在设备上运行,绕开了部分出口管制的争论,但它们的可靠性恰恰是这篇arXiv论文质疑的地方。它的路由结果表明,实际答案不是单独一个更好的小模型,而是一个知道自己何时该求助的小模型。
资料来源
6- 01Do small language models know what they don't know?EN
- 02Nvidia drops a free 100M-parameter model that identifies up to eight speakers in real timeEN
- 03AI agents do more of the work in model development, but humans still make the decisionsEN
- 04Chinese AI models surge in global popularity — and Washington is worriedEN
- 05OpenAI halts training of latest models as reports mount of AI agents going rogueEN
- 06OpenAI pauses training of its 'most capable models'EN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。