跳到正文
世界时间EU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

关于人工智能与技术的门户事件 · 分析 · 访谈 · 技术背景

搜索
直播
›

小语言模型走向端侧,研究仍在追赶

苹果的 OpenELM 系列覆盖 2.7亿 到 30亿 参数,谷歌的 Gemma 3 1B 体积为 529MB。但 2026 年的一篇论文发现,在 91% 的数据集与模型组合中,token 级置信度信号几乎为零。

人工智能与模型解释林晓雯发布: 2026年9月28日4 分钟阅读资料来源 6
小语言模型走向端侧,研究仍在追赶

小语言模型指的是参数在 30亿 以下、能在手机上而不是数据中心里运行的那一类模型。大约两年时间里,它们从研究者的好奇对象变成了实际出货的产品。卖点很直接:模型留在本地,省下服务器开销,用户数据不落到别人的硬件上。证据比宣传要复杂得多。

苹果的贡献是最清楚的起点。2024 年 4 月 24 日,Ars Technica 报道称,苹果以 Apple Sample Code License 在 Hugging Face 上发布了八个模型,统称 OpenELM,即 Open-source Efficient Language Models。Ars Technica 指出,该许可证带有一些限制,可能不符合通常接受的开源定义,不过源代码是公开的。这批模型的参数从 2.7亿 到 30亿,分为四个预训练版本和四个指令微调版本,最大上下文窗口为 2048 个 token。苹果的白皮书称,一种“逐层缩放策略”让模型在预训练 token 用量减半的情况下,准确率比 Allen AI 的 OLMo 1B 高出 2.36%。

Ars Technica 给出了参照:当时 Meta 的 Llama 3 系列最高为 700亿 参数,还有一个 4000亿 参数的版本在开发中,而 OpenAI 2020 年的 GPT-3 是 1750亿 参数。参数规模只是一个粗略指标,不是判决书。

基准论文究竟测了什么

2024 年 11 月 15 日上传到 arXiv 的 SlimLM 走了一条更窄的路:文档辅助。作者 Thang M. Pham 与四位合著者在三星 Galaxy S24 上测试了 1.25亿 到 70亿 参数的模型,先用 SlimPajama-6270亿 做预训练,再在一个自建数据集 DocAssist 上微调,任务包括摘要、问答和建议。摘要称其表现与现有小模型相当或更好,并把一个安卓应用作为部署参考。这个数据点有用,因为它把硬件、任务和模型规模放在一起交代,而多数端侧说法做不到这一点。

谷歌的 AI Edge 团队铺得更开。在 2025 年 5 月 20 日的一篇开发者博客中,Mark Sherwood、Matthew Chan、Marissa Ikonomidis 和 Milen Ferev 宣布支持十多个模型,包括 Gemma 3 和 Gemma 3n,托管在新的 LiteRT Hugging Face 社区。Gemma 3 1B 体积为 529MB,在移动 GPU 上预填充速度可达每秒 2585 个 token,谷歌称这能让它在一秒内处理最多一页内容。Gemma 3n 有 20亿 和 40亿 两个版本,被描述为 Gemma 首个多模态端侧小语言模型,支持文本、图像、视频和音频,其中文本和图像先行上线。博客还介绍了端侧 RAG 和函数调用库,两者在发布时已可在安卓上使用。

然后还有怀疑的一层。2026 年 7 月 21 日,Prashant Mudgal 向 arXiv 提交了一篇题为“小语言模型知道自己不知道什么吗?”的论文。论文在 7 组模型配对和 5 个 NLU 基准上评估了七种基于熵的置信度方法。主要结论很直白:在 91% 的数据集与模型组合中,无论答案是否正确,token 级熵在 260亿 以下的小模型里都近乎为零,实际上等于失效。语义熵通过对答案采样并按含义聚类来计算,能恢复出可用的信号。把不确定的查询转交给更大的专家模型,准确率最多提升 50 个百分点,跨家族路由平均提升 +22.0%,同家族路由为 +6.8%。

不写出推理过程的推理

Science News 在 2026 年 9 月 22 日报道了 BDH-CQ,这是一个 8 月 10 日提交到 arXiv 的小型实验系统,能在不写出中间步骤的情况下解出部分推理谜题。复杂性科学家、AI 公司 Pathway 首席执行官 Zuzanna Stamirowska 对 Science News 说:“查询一到,模型根本不用文字写出它的思考过程。”在公开的 ARC-AGI-1 评测集上,模型用两次尝试解出了近十个谜题中的三个。Stamirowska 与同事估计,每次谜题查询的运行成本约为 0.00070 美元,大约是同一基准上 GPT-5.6 Luna 的十一分之一,不过 Science News 指出两项成本的计算方式不同,而且该研究尚未经过同行评审。

并非所有人都买账。滑铁卢大学的计算机科学家 Yuntian Deng 对 Science News 说,这个结果是“一个有趣的效率结果”,但并不能说明该架构优于其他方法,而且没有写出的推理过程,模型更难被检查。图宾根 ELLIS 研究所和马克斯·普朗克智能系统研究所的 Jonas Geiping 称这种做法“很巧妙”,但表示 BDH-CQ 是专为 ARC 类问题构建的,因此很难与通用系统直接比较。

部署已经跑在论文前面。Imbue 的 Bouncer 是一个 2026 年 4 月 8 日发布的 Twitter 信息流过滤器,用公司称为 Gemma 4 26B-A4B 的开源模型做分类,目前由 Imbue 自己的数据中心提供服务。工程师 Millan Philipose 写道,团队正努力让它直接跑在笔记本电脑和手机上。这个目标与手机上 529MB 的模型之间的差距,正是下一轮说法要接受检验的地方。

评论 0

资料来源

6
  1. 01Apple releases eight small AI language models aimed at on-device useEN
  2. 02SlimLM: An Efficient Small Language Model for On-Device Document AssistanceEN
  3. 03On-device small language models with multimodality, RAG, and Function CallingEN
  4. 04Do small language models know what they don't know?EN
  5. 05Can AI reason without words? A small model puts the idea to the testEN
  6. 06Show HN: Control your X/Twitter feed using a small on-device LLMEN

本文所有数字与引语均来自下列来源,未添加来源之外的内容。

本内容由编辑部在人工智能辅助下制作完成。

林晓雯

林晓雯

人工智能、模型与技术

林晓雯负责FLASH24的人工智能、模型与技术方向,主要写科技、人工智能与模型、媒体与互联网三个领域。她习惯从论文预印本、开源代码库和厂商技术文档入手,先核对训练数据来源和评测口径,再决定是否落笔。遇到模型跑分,她会自己复现一遍小规模测试,并对照独立第三方榜单,确认数字没有注水。她常联系一线工程师和产品经理,也盯着各大会议截稿日,把不同版本的技术报告放在一起比。业余时间她玩3D打印、折腾老电脑,还关心模型从网络垃圾里学到的偏见问题,这让她对数据清洗格外敏感。她有一条原则:拿不到原始数据的性能宣称,不写。

编辑部 →

评论

0
  1. 还没有评论——来说两句吧。

写评论

评论公开展示。我们不发布辱骂、垃圾信息和广告内容。