端侧小语言模型从演示走向实际部署
2024年4月,苹果在Hugging Face上发布OpenELM,包含八个参数量在27000万到30亿之间的小语言模型。两年后,端侧路线已扩展到多模态、检索和函数调用。

小语言模型的卖点很简单:推理留在手机上,数据不离开设备。2024年4月24日,Ars Technica报道苹果发布OpenELM,这件事让上述说法有了具体内容。OpenELM是八个开放源代码的模型,参数量从27000万到30亿不等。
苹果提供了两种版本,四个预训练模型和四个指令微调模型,采用Apple Sample Code License授权。Ars Technica指出,该许可证带有若干限制,因此尽管源代码公开,OpenELM可能并不符合通常意义上的开源定义。这些模型的最大上下文窗口为2048个token,训练数据包括RefinedWeb、去重后的PILE,以及RedPajama和Dolma v1.6的子集。苹果称这些数据合计约18000亿个token。
规模上的对比值得一看。当时Meta的Llama 3系列最高为700亿参数,OpenAI在2020年推出的GPT-3为1750亿参数。苹果OpenELM中最大的一个只有30亿。
"大语言模型的可复现性和透明度,对于推进开放研究、确保结果可信,以及调查数据和模型偏见及潜在风险,都至关重要。"
这句话出自苹果OpenELM论文摘要,由Ars Technica引用。苹果同时发布了训练库CoreNet,以及可复现的训练配方,让权重能够被复制。Ars Technica称,对当时的大型科技公司来说这种做法并不常见。同一篇报道也提到苹果自己的提醒:由于训练数据来自公开来源,模型可能生成不准确、有害、有偏见或令人不适的内容。
研究随后跟上了硬件。2024年11月15日提交到arXiv的一篇论文介绍了SlimLM,这是一系列从12500万到70亿参数的模型,针对移动设备上的文档辅助任务做了调优。作者在三星Galaxy S24上做实验,考察模型大小、上下文长度和推理时间之间的取舍。模型先在SlimPajama-6270亿上预训练,再在他们自建的数据集DocAssist上微调,任务包括摘要、问答和建议。论文同时发布了一款Android应用,目标是通过端侧处理降低服务器成本、改善隐私。
谷歌加入检索与函数调用
谷歌AI Edge团队在2025年5月20日的一篇博文中把这个类别又推进了一步。公司表示,支持范围从最初四个端侧小语言模型扩展到十几个,其中包括Gemma 3和Gemma 3n的早期预览版,托管在LiteRT的Hugging Face社区上。
Gemma 3n被称为Gemma系列首个多模态端侧小语言模型,支持文本、图像、视频和音频输入,有20亿和40亿参数两个版本。文本和图像模态已在Hugging Face上线,音频随后推出。谷歌还称,int4训练后量化能把语言模型压缩到bf16的2.5到4倍,从而降低延迟和峰值内存。据博文介绍,其Gemma 3 1B模型体积为529MB,在移动GPU上预填充速度可达每秒2585个token,足以在一秒内处理一页内容。
更有分量的新增内容是库,而不是权重。谷歌表示,其RAG库能从1000页信息或1000张照片中挑出最相关的几段数据,无需微调就能为模型提供依据;其函数调用库则让模型自行决定何时调用应用内预定义的函数。两者发布时已在Android上可用,其他平台随后跟上。
置信度仍是悬而未决的问题。2026年7月21日提交到arXiv的一篇论文检验了基于熵的信号能否判断小模型何时出错。在七组模型配对和五项NLU基准上,作者发现,在参数量低于30亿的模型中,词元级熵实际上已经失效:在91%的数据集与模型组合中,无论答案是否正确,平均词元熵都接近零。语义熵则能恢复出可用的信号,把不确定的查询转交给更大的专家模型后,准确率最多提升50个百分点。跨家族路由平均提升22.0%,同家族路由为6.8%,说明专家模型的质量比架构兼容性更重要。
商业工具已经在出货。Cactus在2026年9月18日发布的Needle 3,介绍了一个12100万到27000万参数的模型家族,二进制体积为9到29MB的CQ2量化格式,支持工具调用、结构化抽取和文本嵌入,并称其4层子网络在下游任务上微调一个epoch后,能与DeepSeek V4 Flash相当。该公司称在Raspberry Pi 5上解码速度为每秒4000个token。
苹果这边,并没有把OpenELM整合进消费级设备。Ars Technica报道称,预计在6月WWDC上亮相的iOS 18据传会包含端侧AI功能,同时苹果有可能聘请谷歌或OpenAI来完成更重的非端侧处理。两年过去,小模型已经落地。产品决策还在追赶。
资料来源
5- 01Apple releases eight small AI language models aimed at on-device useEN
- 02SlimLM: An Efficient Small Language Model for On-Device Document AssistanceEN
- 03On-device small language models with multimodality, RAG, and Function CallingEN
- 04Do small language models know what they don't know?EN
- 05Needle 3 - 8-29 MB foundation model for tiny devicesEN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。