跳到正文
世界时间EU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

关于人工智能与技术的门户事件 · 分析 · 访谈 · 技术背景

搜索
直播
›

端侧小语言模型从演示走向实际部署

2024年4月,苹果在Hugging Face上发布OpenELM,包含八个参数量在27000万到30亿之间的小语言模型。两年后,端侧路线已扩展到多模态、检索和函数调用。

人工智能与模型分析王雅琴发布: 2026年9月27日4 分钟阅读资料来源 5
端侧小语言模型从演示走向实际部署

小语言模型的卖点很简单:推理留在手机上,数据不离开设备。2024年4月24日,Ars Technica报道苹果发布OpenELM,这件事让上述说法有了具体内容。OpenELM是八个开放源代码的模型,参数量从27000万到30亿不等。

苹果提供了两种版本,四个预训练模型和四个指令微调模型,采用Apple Sample Code License授权。Ars Technica指出,该许可证带有若干限制,因此尽管源代码公开,OpenELM可能并不符合通常意义上的开源定义。这些模型的最大上下文窗口为2048个token,训练数据包括RefinedWeb、去重后的PILE,以及RedPajama和Dolma v1.6的子集。苹果称这些数据合计约18000亿个token。

规模上的对比值得一看。当时Meta的Llama 3系列最高为700亿参数,OpenAI在2020年推出的GPT-3为1750亿参数。苹果OpenELM中最大的一个只有30亿。

"大语言模型的可复现性和透明度,对于推进开放研究、确保结果可信,以及调查数据和模型偏见及潜在风险,都至关重要。"

这句话出自苹果OpenELM论文摘要,由Ars Technica引用。苹果同时发布了训练库CoreNet,以及可复现的训练配方,让权重能够被复制。Ars Technica称,对当时的大型科技公司来说这种做法并不常见。同一篇报道也提到苹果自己的提醒:由于训练数据来自公开来源,模型可能生成不准确、有害、有偏见或令人不适的内容。

研究随后跟上了硬件。2024年11月15日提交到arXiv的一篇论文介绍了SlimLM,这是一系列从12500万到70亿参数的模型,针对移动设备上的文档辅助任务做了调优。作者在三星Galaxy S24上做实验,考察模型大小、上下文长度和推理时间之间的取舍。模型先在SlimPajama-6270亿上预训练,再在他们自建的数据集DocAssist上微调,任务包括摘要、问答和建议。论文同时发布了一款Android应用,目标是通过端侧处理降低服务器成本、改善隐私。

谷歌加入检索与函数调用

谷歌AI Edge团队在2025年5月20日的一篇博文中把这个类别又推进了一步。公司表示,支持范围从最初四个端侧小语言模型扩展到十几个,其中包括Gemma 3和Gemma 3n的早期预览版,托管在LiteRT的Hugging Face社区上。

Gemma 3n被称为Gemma系列首个多模态端侧小语言模型,支持文本、图像、视频和音频输入,有20亿和40亿参数两个版本。文本和图像模态已在Hugging Face上线,音频随后推出。谷歌还称,int4训练后量化能把语言模型压缩到bf16的2.5到4倍,从而降低延迟和峰值内存。据博文介绍,其Gemma 3 1B模型体积为529MB,在移动GPU上预填充速度可达每秒2585个token,足以在一秒内处理一页内容。

更有分量的新增内容是库,而不是权重。谷歌表示,其RAG库能从1000页信息或1000张照片中挑出最相关的几段数据,无需微调就能为模型提供依据;其函数调用库则让模型自行决定何时调用应用内预定义的函数。两者发布时已在Android上可用,其他平台随后跟上。

置信度仍是悬而未决的问题。2026年7月21日提交到arXiv的一篇论文检验了基于熵的信号能否判断小模型何时出错。在七组模型配对和五项NLU基准上,作者发现,在参数量低于30亿的模型中,词元级熵实际上已经失效:在91%的数据集与模型组合中,无论答案是否正确,平均词元熵都接近零。语义熵则能恢复出可用的信号,把不确定的查询转交给更大的专家模型后,准确率最多提升50个百分点。跨家族路由平均提升22.0%,同家族路由为6.8%,说明专家模型的质量比架构兼容性更重要。

商业工具已经在出货。Cactus在2026年9月18日发布的Needle 3,介绍了一个12100万到27000万参数的模型家族,二进制体积为9到29MB的CQ2量化格式,支持工具调用、结构化抽取和文本嵌入,并称其4层子网络在下游任务上微调一个epoch后,能与DeepSeek V4 Flash相当。该公司称在Raspberry Pi 5上解码速度为每秒4000个token。

苹果这边,并没有把OpenELM整合进消费级设备。Ars Technica报道称,预计在6月WWDC上亮相的iOS 18据传会包含端侧AI功能,同时苹果有可能聘请谷歌或OpenAI来完成更重的非端侧处理。两年过去,小模型已经落地。产品决策还在追赶。

评论 0

资料来源

5
  1. 01Apple releases eight small AI language models aimed at on-device useEN
  2. 02SlimLM: An Efficient Small Language Model for On-Device Document AssistanceEN
  3. 03On-device small language models with multimodality, RAG, and Function CallingEN
  4. 04Do small language models know what they don't know?EN
  5. 05Needle 3 - 8-29 MB foundation model for tiny devicesEN

本文所有数字与引语均来自下列来源,未添加来源之外的内容。

本内容由编辑部在人工智能辅助下制作完成。

王雅琴

王雅琴

人工智能、模型与技术

王雅琴负责FLASH24的人工智能、模型与技术报道,覆盖科技、人工智能与模型、媒体与互联网领域。她习惯直接查阅技术文档、模型卡与官方博客,而非依赖新闻稿,对未经核实的参数和跑分数据一概不放行。每篇报道前,她会逐项核对基准测试结果,对照论文原文与开源代码,确认版本号、数据集和评测条件是否一致。她常联系开发者与研究人员求证细节,也盯着各大厂商的发布会和论文截稿日期,横向比较同类模型的实际表现。私下她自建服务、折腾家庭网络,这让她对部署成本和真实算力需求有直观判断。她的原则是:没有可复现来源的数字,不写进稿子。

编辑部 →

评论

0
  1. 还没有评论——来说两句吧。

写评论

评论公开展示。我们不发布辱骂、垃圾信息和广告内容。