跳到正文
世界时间EU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

关于人工智能与技术的门户事件 · 分析 · 访谈 · 技术背景

搜索
直播
›

小语言模型走向端侧,置信度信号却跟不上

苹果的 OpenELM 系列覆盖 27000万到 30亿参数,谷歌的 Gemma 3n 已能接收文本、图像、视频和音频输入。但 2026 年的一篇 arXiv 论文报告称,在参数低于 30亿的模型里,token 级熵实际上已经失效。

人工智能与模型分析林晓雯发布: 2026年9月27日7 分钟阅读资料来源 6
小语言模型走向端侧,置信度信号却跟不上

端侧小语言模型早已不是实验室里的新鲜玩意。两年间,它们从 Hugging Face 上的概念验证权重,变成了正式发布的库。这些库加入了检索、函数调用和多模态输入。卖点始终如一:把推理留在手机或笔记本上,省下服务器成本,让用户数据留在本地。

可用来判断这些模型何时出错的工具,却没有跟上。

从八个小模型到一个库

苹果在 2024 年 4 月 24 日开启了这个阶段。据 Ars Technica 报道,它发布了八个源码可得的语言模型,统称 OpenELM,即 Open-source Efficient Language Models 的缩写。这些模型参数从 27000万到 30亿,分为四个预训练版本和四个指令微调版本。Ars Technica 把这一规模放进了背景里。当时 Meta 的 Llama 3 系列最高为 700亿参数,还有一个 4000亿参数的版本在研发中。OpenAI 2020 年的 GPT-3 参数为 1750亿。

苹果强调的不只是规模。公司称其逐层缩放策略让参数在各层之间分配得更高效。白皮书报告称,与 Allen AI 的 OLMo 1B 相比,新模型的准确率提高了 2.36%,而所用预训练 token 只有前者的一半。苹果还公开了 CoreNet 训练库和可复现的训练配方,Ars Technica 称这对一家大型科技公司来说并不常见。这些模型的上下文窗口为 2048 个 token。训练数据包括 RefinedWeb、去重后的 PILE、RedPajama 的一个子集以及 Dolma v1.6 的一个子集,合计约 18000亿个 token。

苹果在论文中提醒,这些模型在回应用户提示时,有可能产生不准确、有害、带有偏见或令人不适的输出。Ars Technica 引用了这段话。

随着这些模型走出实验室,这条提醒变得更重要了。

谷歌把小语言模型做成平台

到 2025 年 5 月,叙事已经变了。重点从发布模型转向支撑生态。谷歌的 AI Edge 团队称,端侧支持已从最初的四个模型扩展到十多个。这些模型托管在新的 LiteRT Hugging Face 社区里,其中包括 Gemma 3 和 Gemma 3n。

Gemma 3n 以早期预览形式亮相。谷歌称它是 Gemma 首个多模态端侧小语言模型,有 20亿和 40亿参数两个版本,支持文本、图像、视频和音频。谷歌表示文本和图像模态已在 Hugging Face 上线,音频随后跟进。公司还提到 Gemma 3 1B,体积为 529MB。谷歌称,该模型在手机 GPU 上预填充速度可达每秒 2585 个 token,处理一页内容用时不到一秒。

这次发布更关键的部分是基础设施。谷歌推出了端侧检索增强生成库,发布时即可在 Android 上使用。它还推出了端侧函数调用库,同样优先支持 Android。检索库让模型无需微调就能调用应用专属数据。谷歌称,它可以从 1000 页信息或 1000 张照片中找出最相关的片段。函数调用库让模型自行决定何时调用预定义函数或 API。谷歌的示例应用能根据口述语音填写表单:先把语音转成文字,再抽取字段,然后调用应用函数。

谷歌还介绍了新的 int4 训练后量化方案。公司称,与 bf16 相比,这些方案能把模型体积缩小到原来的 2.5 到 4 分之一,同时降低延迟和峰值内存占用。正是这类工程细节,决定一个模型是能真正发布,还是停留在演示阶段。

SlimLM 与三星手机上的基准测试

学术界的进展是并行推进的。2024 年 11 月 15 日提交到 arXiv、11 月 25 日修订的一篇论文提出了 SlimLM。这是一系列针对移动设备文档辅助任务优化的小语言模型。作者 Thang M. Pham、Phat T. Nguyen、Seunghyun Yoon、Viet Dac Lai、Franck Dernoncourt 和 Trung Bui 在三星 Galaxy S24 上做了实验。他们梳理了模型规模(从 12500万到 70亿参数)、上下文长度与推理时间之间的取舍。

SlimLM 在 SlimPajama-6270亿上完成预训练,又在 DocAssist 上微调。DocAssist 是作者为摘要、问答和建议任务自建的数据集。摘要称,最小的模型在 S24 上运行高效。更大的版本能在移动端限制内提供更强能力,整体表现优于现有小语言模型。作者还发布了一个 Android 应用。他们把收益归结为服务器成本下降,以及端侧处理带来的更好隐私保护。

置信度难题

接下来的问题是,这些模型是否知道自己不知道什么。2026 年 7 月 21 日,Prashant Mudgal 提交到 arXiv 的一篇论文考察了参数少于 30亿、完全在消费级硬件上运行的小语言模型的熵置信度信号。研究在 7 组模型配对和 5 个标准 NLU 基准上评估了七种方法。

主要发现令人不安。token 级熵实际上失灵了。在 91% 的数据集与模型组合中,无论答案是否正确,平均 token 熵都接近零。论文称,这使基于 token 的置信度信号在这个规模上无法使用。

语义熵表现更好。这种方法生成多个样本,按含义对答案聚类,再测量分布上的不确定性,从而恢复出可用的置信度信号。用它把不确定的查询转给更大的专家模型,准确率提升最多可达 50 个百分点。跨家族路由(论文举的例子是从 SmolLM 36000万转到 Phi-3.5-mini)平均提升 22.0%,而同家族路由为 6.8%。作者的结论是,熵方法在小模型里的价值不在省算力,而在智能分配算力,把更多 token 花在最需要的地方。

不写出来的推理

另一条研究路线在问,小模型到底需不需要把推理过程写出来。Science News 在 2026 年 9 月 22 日报道,一个名为 BDH-CQ 的小型实验系统(DH 指 Dragon Hatchling)能在不写出中间步骤的情况下解开一些推理谜题。相关论文 8 月 10 日提交到 arXiv,尚未经过同行评审。

BDH-CQ 不把示例留在上下文里,而是用每个示例更新一块固定大小的记忆。Zuzanna Stamirowska 是复杂性科学家,也是 AI 公司 Pathway 的 CEO。她告诉 Science News,查询一旦到达,模型根本不会用文字写出思考过程。她说:“中间什么都不曾转成语言。”

Stamirowska 和同事报告称,在公开的 ARC-AGI-1 评测集上,给两次尝试机会时,模型解出了近十个谜题中的三个。它能处理一些图形旋转和移动任务,但在颜色变化和某些规则组合上吃力。看过一道难度相近的示例后,它在更难的排序和嵌套谜题上表现更好。

成本上的说法很扎眼。研究者估计,每次谜题查询的运行成本约为 0.00070 美元,大约是 GPT-5.6 Luna 在同一基准上成本的十一分之一。Science News 指出,两种成本的计算方式并不相同。外部研究者的反应比较克制。滑铁卢大学的 Yuntian Deng 称这是一个有意思的效率结果。他说,这并不能说明其底层架构优于其他方法,并指出没有写出的推理过程,模型更难被检查。图宾根 ELLIS 研究所和马克斯·普朗克智能系统研究所的 Jonas Geiping 说,这个模型是专门为 ARC 类问题构建的,因此很难与通用系统直接比较。他称这一思路很巧妙,并指出它无需重新训练就能应对测试题。

发布跑在理解前面

Imbue 在 2026 年 4 月 8 日发布的 Twitter 信息流过滤器 Bouncer,展示了部署在现实中是什么样子。这个工具用一个开源模型给帖子分类,博客文章称之为 Gemma 4 26B-A4B。文章说,这个模型大到足以理解上下文,又小到能跟上滚动速度。Imbue 表示,目前模型由自家数据中心提供,同时正努力让它直接跑在笔记本和手机上。Bouncer 已推出 Chrome 扩展、Firefox 附加组件和 iPhone 应用,并承诺支持 Reddit、LinkedIn 和 Safari。

这些项目呈现出的模式是一致的。能力与分发的推进速度都快过评测。苹果发布权重时附上了坦率的提醒,承认输出可能不准确或带有偏见。谷歌推出检索和函数调用,让模型能对应用数据采取行动。SlimLM 在真实硬件上对文档任务做了基准测试。Mudgal 的论文发现,最便宜的置信度信号在 30亿参数以下不管用,而更贵的那种管用。BDH-CQ 提示有些推理可以不经语言发生,同时研究者提醒,没有说出来的推理更难审计。

评论 0

资料来源

6
  1. 01Apple releases eight small AI language models aimed at on-device useEN
  2. 02SlimLM: An Efficient Small Language Model for On-Device Document AssistanceEN
  3. 03On-device small language models with multimodality, RAG, and Function CallingEN
  4. 04Do small language models know what they don't know?EN
  5. 05Can AI reason without words? A small model puts the idea to the testEN
  6. 06Show HN: Control your X/Twitter feed using a small on-device LLMEN

本文所有数字与引语均来自下列来源,未添加来源之外的内容。

本内容由编辑部在人工智能辅助下制作完成。

林晓雯

林晓雯

人工智能、模型与技术

林晓雯负责FLASH24的人工智能、模型与技术方向,主要写科技、人工智能与模型、媒体与互联网三个领域。她习惯从论文预印本、开源代码库和厂商技术文档入手,先核对训练数据来源和评测口径,再决定是否落笔。遇到模型跑分,她会自己复现一遍小规模测试,并对照独立第三方榜单,确认数字没有注水。她常联系一线工程师和产品经理,也盯着各大会议截稿日,把不同版本的技术报告放在一起比。业余时间她玩3D打印、折腾老电脑,还关心模型从网络垃圾里学到的偏见问题,这让她对数据清洗格外敏感。她有一条原则:拿不到原始数据的性能宣称,不写。

编辑部 →

评论

0
  1. 还没有评论——来说两句吧。

写评论

评论公开展示。我们不发布辱骂、垃圾信息和广告内容。