小语言模型上手机:数字到底说明了什么
小语言模型正从数据中心走向手机,但已公布的结果显示进展并不均衡。苹果的 OpenELM 系列覆盖 2.7 亿到 30 亿参数;谷歌的一款模型下载包为 529MB,在手机 GPU 上每秒最多可跑 2585 个 token。

据 Ars Technica 报道,苹果于 2024 年 4 月 24 日发布了八个小语言模型,统称 OpenELM,即 Open-source Efficient Language Models。参数规模从 2.7 亿到 30 亿,托管在 Hugging Face 上,采用 Apple Sample Code License。Ars Technica 指出,该许可带有附加限制,因此尽管源代码公开,这次发布可能并不符合通常意义上的开源定义。
八个模型分为两类:四个预训练版和四个指令微调版。最大上下文窗口为 2,048 个 token。苹果称训练数据来自 RefinedWeb(去重后的 PILE 版本)、RedPajama 的一个子集和 Dolma v1.6 的一个子集,合计约 1.8 万亿个 token。公司白皮书称,其逐层缩放策略在预训练 token 用量只有 Allen AI 的 OLMo 1B 一半的情况下,准确率比后者高 2.36%。苹果还公开了训练库 CoreNet 和可复现的训练配方。论文摘要写道,大语言模型的可复现性和透明度对推进开放研究至关重要。
规模上的对比很直观。Ars Technica 称 Meta Llama 3 最大的一次发布为 700 亿参数,4000 亿版本也在路上,而 OpenAI 2020 年的 GPT-3 为 1750 亿。参数数量只是能力的粗略度量,不是结论。
手机基准测试说明了什么
SlimLM 于 2024 年 11 月 15 日提交到 arXiv,11 月 25 日修订,是一组面向文档辅助的小语言模型。作者在三星 Galaxy S24 上做实验,考察模型规模(1.25 亿到 70 亿参数)、上下文长度和推理时间之间的取舍。SlimLM 在 SlimPajama-6270 亿上预训练,再在 DocAssist 上微调,后者是作者为摘要、问答和建议任务自建的数据集。论文附有一个 Android 应用。作者给出的动机是降低服务器成本,并通过端侧处理改善隐私。
谷歌的进展更接近产品形态,2025 年 5 月 20 日发布在 Developers Blog 上。Google AI Edge 的支持范围从最初四个模型扩展到十几个,包括 Gemma 3 和 Gemma 3n,托管在 LiteRT 的 Hugging Face 社区。Gemma 3 1B 为 529MB,在手机 GPU 上预填充阶段每秒最多可跑 2585 个 token,谷歌称这足以在一秒内处理一页内容。处于早期预览的 Gemma 3n 是 Gemma 首个多模态端侧小语言模型,有 20 亿和 40 亿参数两个版本,支持文本、图像、视频和音频输入。文本和图像已上线 Hugging Face,音频稍后跟进。
谷歌还推出了端侧 RAG 库,可在 Android 上使用,以及端侧函数调用库,同样先支持 Android。公司称,int4 训练后量化相比 bf16 可将语言模型缩小 2.5 到 4 倍,同时降低延迟和峰值内存占用。
“查询到达之后,模型根本不会用文字写出它的思考过程。中间没有任何东西会转换成语言,”AI 公司 Pathway 首席执行官、复杂性科学家 Zuzanna Stamirowska 对 Science News 说。
这段引述针对的是 BDH-CQ,一个实验性系统,相关论文于 8 月 10 日提交到 arXiv,Science News 于 9 月 22 日报道。该模型用每个样例更新一块固定大小的记忆,而不是把样例留在上下文里。Stamirowska 和同事称,在公开的 ARC-AGI-1 评测集上,它两次尝试就解出了近三成题目。他们估算每次查询成本约为 0.00070 美元,大约是 GPT-5.6 Luna 在同一基准上开销的十一分之一。不过 Science News 指出,两次成本的计算方式并不相同,而且该研究尚未经过同行评审。
出了研究实验室,这些说法就更难核实。Imbue 于 2026 年 4 月 8 日发布的 Twitter 信息流过滤器 Bouncer,使用了一个开源模型做分类,博客里称其为 Gemma 4 26B-A4B。帖子说该模型目前由 Imbue 自己的数据中心提供服务,让它跑在笔记本和手机上的工作正在进行。
怀疑是有理由的,其中一部分来自研究者本人。滑铁卢大学的 Yuntian Deng 对 Science News 说,BDH-CQ 是“一个有意思的效率结果”,但并没有证明它的架构优于其他方法。他说还需要更多测试,才能把设计本身和训练方法分开,而且一个不写出推理过程的模型更难检查。ELLIS Institute Tübingen 和马克斯·普朗克智能系统研究所的 Jonas Geiping 说,BDH-CQ 是专门为 ARC 类问题构建的,因此很难与通用系统直接比较。他仍然称这种方法“很巧妙”。
尚未回答的问题是,这些成果有多少能经受住真实产品的检验。按苹果在 OpenELM 论文中的自述,这些模型属于研究发布。谷歌自己给出的提醒是,Gemma 3n 仍是早期预览。基准表格和口袋里那台手机之间的差距,仍然没有人公布过数字。
资料来源
5- 01Apple releases eight small AI language models aimed at on-device useEN
- 02SlimLM: An Efficient Small Language Model for On-Device Document AssistanceEN
- 03On-device small language models with multimodality, RAG, and Function CallingEN
- 04Can AI reason without words? A small model puts the idea to the testEN
- 05Show HN: Control your X/Twitter feed using a small on-device LLMEN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。