跳到正文
世界时间EU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

关于人工智能与技术的门户事件 · 分析 · 访谈 · 技术背景

搜索
直播
›

端侧小模型:论文称91%的token熵信号不可用

7月21日提交的一篇arXiv预印本指出,参数量低于30亿的小语言模型里,token级置信度信号基本失效。无论答案对错,91%的数据集与模型组合的平均token熵都接近于零。

人工智能与模型分析林晓雯发布: 2026年9月28日4 分钟阅读资料来源 6
端侧小模型:论文称91%的token熵信号不可用

论文作者Prashant Mudgal在消费级硬件上跑了7组模型配对、5个标准NLU基准,比较了7种方法。结论很直接:在这个规模上,token级熵早停行不通。语义熵能给出可用的信号,做法是多次采样,再按含义把答案聚类。把不确定的查询转交给更大的专家模型,准确率最多提升50个百分点。

跨模型家族路由平均提升22.0%,同家族配对只有6.8%。论文举的例子是SmolLM 36000万把任务交给Phi-3.5-mini。作者的意思是:小模型里熵方法的价值不在省下算力,而在把算力分配到该去的地方。

端侧工作为何持续增长

时间点值得注意。据The Decoder报道,9月27日Nvidia发布了Nemotron 3 Diarization,这是一个约1亿参数的模型,用来分辨对话中谁在说话,权重可以免费下载。它最多能区分8位说话人,并标出重叠语音。在VoiceArena的Diarization-Bench上,它目前以14.72%的错误率排在首位,第二名是19.3%。配合Parakeet这类语音识别系统,它能生成带匿名说话人标签的转写文本。参与者越多、背景噪声或混响越强,错误率就越高。

延迟是设计上的取舍,不是白捡的便宜。音频缓冲区可以设成四档,从30.4秒一路降到0.32秒,缓冲区越短,准确率通常越低。Nvidia称,在1.04秒缓冲区的条件下,与上一代Streaming Sortformer相比,该模型在8个测试场景中平均把错误率降低了41%。模型必须在本地而不是数据中心运行时,这类数字才有分量。

同一周还有一个大得多的项目,它对自动化的说法却窄得多。据The Decoder报道,复旦大学研究人员参与的一个团队研究了自己构建Atria Dawn Preview的过程。这是一个采用混合专家架构的智能体语言模型,参数量7440亿。分析覆盖了56名参与者的700多份任务日志。被审查的任务中96.5%用到了AI,四周内智能体动作与人类输入的比值中位数从11升到28.5。作者提醒不要把这读成自主性:人类的每一次决策只是触发了更多智能体步骤。

参与者被问到一个问题:在同样的范围和同样的质量下,没有AI他们能否完成自己那部分任务。455个完成的AI辅助任务中,有151个被评为没有AI就无法完成,大约三分之一,分布在56名参与者中的27人身上。

方法和参数上的决策,人类仍然做了85.5%,AI做了9.2%;目标和范围上的最终决定,93.4%的情况由人类拍板。在588个记录了困难的任务中,出问题时76%靠人工介入推进,23%由智能体单独解决。论文警告说,当每一个决定都依赖一条比任何人类都审不完的智能体工作链时,监督就会退化成盖章。

便宜的模型,昂贵的问题

成本正在改变哪些模型会被采用。据CNBC 9月26日报道,在9月14日那一周,中国模型占OpenRouter所用token的57%到67%,而2月时是6%到13%;8月在Vercel上达到55%,1月时是11%。OpenRouter洞察负责人Peter Walker对CNBC说,今年发布的中国开源模型能可靠地处理高级智能体任务,尤其是编程,这在2025年底还做不到,而且相比美国实验室的大多数模型价格低廉。Vercel智能体基础设施负责人Harpreet Arora说,一旦模型达到某项工作的质量门槛,价格就变得有吸引力。

华盛顿在盯着。美国众议院两个委员会正在调查这一采用趋势,CNBC指出美国前沿模型在总支出上仍然更高。新美国安全中心的Daniel Remler对该媒体说,担忧在于这种整合会把各国拉进中国的技术圈。CNBC引用的数据并不均衡:OpenRouter上约一半的token来自美国公司,而OpenRouter归为全球南方的82个国家的企业,把67%的token发给了中国模型。

小模型在这场较量里处境尴尬。它们在设备上运行,绕开了部分出口管制的争论,但它们的可靠性恰恰是这篇arXiv论文质疑的地方。它的路由结果表明,实际答案不是单独一个更好的小模型,而是一个知道自己何时该求助的小模型。

评论 0

资料来源

6
  1. 01Do small language models know what they don't know?EN
  2. 02Nvidia drops a free 100M-parameter model that identifies up to eight speakers in real timeEN
  3. 03AI agents do more of the work in model development, but humans still make the decisionsEN
  4. 04Chinese AI models surge in global popularity — and Washington is worriedEN
  5. 05OpenAI halts training of latest models as reports mount of AI agents going rogueEN
  6. 06OpenAI pauses training of its 'most capable models'EN

本文所有数字与引语均来自下列来源,未添加来源之外的内容。

本内容由编辑部在人工智能辅助下制作完成。

林晓雯

林晓雯

人工智能、模型与技术

林晓雯负责FLASH24的人工智能、模型与技术方向,主要写科技、人工智能与模型、媒体与互联网三个领域。她习惯从论文预印本、开源代码库和厂商技术文档入手,先核对训练数据来源和评测口径,再决定是否落笔。遇到模型跑分,她会自己复现一遍小规模测试,并对照独立第三方榜单,确认数字没有注水。她常联系一线工程师和产品经理,也盯着各大会议截稿日,把不同版本的技术报告放在一起比。业余时间她玩3D打印、折腾老电脑,还关心模型从网络垃圾里学到的偏见问题,这让她对数据清洗格外敏感。她有一条原则:拿不到原始数据的性能宣称,不写。

编辑部 →

评论

0
  1. 还没有评论——来说两句吧。

写评论

评论公开展示。我们不发布辱骂、垃圾信息和广告内容。