苹果 OpenELM 与谷歌 Gemma 3n 把小模型推向手机
苹果在 2024 年 4 月发布了八个可在智能手机上运行的小型语言模型,最小的只有 2.7 亿参数;谷歌现在则以早期预览形式提供 Gemma 3n,支持在设备端处理文本、图像、视频和音频。

小型语言模型的卖点很简单:推理留在设备上,不用往返数据中心,用户的数据也就留在原地。
两个发布说明这条路已经从研究演示走到了开发者工具。据 Ars Technica 报道,2024 年 4 月 24 日苹果推出 OpenELM,八个模型以 Apple Sample Code License 发布在 Hugging Face 上。参数从 2.7 亿到 30 亿,分为四个预训练版本和四个指令微调版本。Ars Technica 指出该许可证带有附加限制,因此这次发布可能不符合通常的开源定义,尽管源代码是公开的。这些模型使用 2048 token 的上下文窗口,训练数据包括 RefinedWeb、去重后的 PILE、RedPajama 的一个子集和 Dolma v1.6 的一个子集,苹果称总量约 1.8 万亿 token。苹果还公布了训练所用 CoreNet 库的代码,以及可复现的训练配方。
数字说明了什么
参数量是这里最粗略的记分牌。苹果最小的 OpenELM 比微软 Phi-3-mini 的 38 亿参数小约 14 倍,后者 Ars Technica 在前一天刚报道过。
Meta 已发布的最大 Llama 3 模型有 700 亿参数,4000 亿参数的版本正在开发中,OpenAI 2020 年的 GPT-3 则是 1750 亿参数。苹果的白皮书称,在预训练 token 用量只有一半的情况下,其准确率比 Allen AI 的 OLMo 1B 高 2.36%。这是厂商自报的单一对比基准,不是独立验证,Ars Technica 也是把它作为论文中的说法来报道的。苹果还提醒,由于训练数据来自公开来源,模型可能产出不准确、有害、带偏见或令人不适的内容。
"大型语言模型的可复现性和透明度,对于推进开放研究、确保结果可信,以及调查数据与模型偏见和潜在风险都至关重要。"
这句话出自苹果 OpenELM 论文摘要,由 Ars Technica 引用。苹果表示此次发布旨在赋能并丰富开放研究社区。它并未把这一代模型放进自家消费设备,Ars Technica 报道称,预计 6 月在 WWDC 上展示的 iOS 18 当时有传闻会带来设备端 AI 功能,而更重的处理有可能由苹果雇请谷歌或 OpenAI 来完成。
谷歌把工具箱做大
谷歌的 AI Edge 团队走了另一条路。在 2025 年 5 月 20 日的一篇博文中,该团队称已把设备端支持从最初的四个模型扩展到十几个,其中包括 Gemma 3 和 Gemma 3n,托管在 LiteRT 的 Hugging Face 社区上。
Gemma 3 1B 体积为 529MB,在移动 GPU 上预填充速度最高可达每秒 2585 个 token,谷歌称这足以在一秒内处理一页内容。Gemma 3n 以早期预览形式推出,有 20 亿和 40 亿参数两个版本,支持文本、图像、视频和音频输入;文本和图像已在 Hugging Face 上线,音频随后跟进。该公司还发布了一个检索增强生成库和一个函数调用库,两者都先在 Android 上提供,这样设备端模型就能从一千页文档或照片里取出相关上下文,并用自然语言触发应用功能。
这一切之上有一个前提。谷歌自己的量化指南称,与 bf16 相比,int4 可以把模型体积缩小 2.5 到 4 倍,同时降低延迟和峰值内存,而这一交换并非没有代价:精度下降会损失一些准确率,这是每个设备端部署都必须设定的旋钮。
资料来源
2- 01Apple releases eight small AI language models aimed at on-device useEN
- 02On-device small language models with multimodality, RAG, and Function CallingEN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。