跳到正文
世界时间EU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

关于人工智能与技术的门户事件 · 分析 · 访谈 · 技术背景

搜索
直播
›

苹果 OpenELM 与谷歌 Gemma 3n 把小模型推向手机

苹果在 2024 年 4 月发布了八个可在智能手机上运行的小型语言模型,最小的只有 2.7 亿参数;谷歌现在则以早期预览形式提供 Gemma 3n,支持在设备端处理文本、图像、视频和音频。

人工智能与模型新闻林晓雯发布: 2026年9月28日3 分钟阅读资料来源 2
苹果 OpenELM 与谷歌 Gemma 3n 把小模型推向手机

小型语言模型的卖点很简单:推理留在设备上,不用往返数据中心,用户的数据也就留在原地。

两个发布说明这条路已经从研究演示走到了开发者工具。据 Ars Technica 报道,2024 年 4 月 24 日苹果推出 OpenELM,八个模型以 Apple Sample Code License 发布在 Hugging Face 上。参数从 2.7 亿到 30 亿,分为四个预训练版本和四个指令微调版本。Ars Technica 指出该许可证带有附加限制,因此这次发布可能不符合通常的开源定义,尽管源代码是公开的。这些模型使用 2048 token 的上下文窗口,训练数据包括 RefinedWeb、去重后的 PILE、RedPajama 的一个子集和 Dolma v1.6 的一个子集,苹果称总量约 1.8 万亿 token。苹果还公布了训练所用 CoreNet 库的代码,以及可复现的训练配方。

数字说明了什么

参数量是这里最粗略的记分牌。苹果最小的 OpenELM 比微软 Phi-3-mini 的 38 亿参数小约 14 倍,后者 Ars Technica 在前一天刚报道过。

Meta 已发布的最大 Llama 3 模型有 700 亿参数,4000 亿参数的版本正在开发中,OpenAI 2020 年的 GPT-3 则是 1750 亿参数。苹果的白皮书称,在预训练 token 用量只有一半的情况下,其准确率比 Allen AI 的 OLMo 1B 高 2.36%。这是厂商自报的单一对比基准,不是独立验证,Ars Technica 也是把它作为论文中的说法来报道的。苹果还提醒,由于训练数据来自公开来源,模型可能产出不准确、有害、带偏见或令人不适的内容。

"大型语言模型的可复现性和透明度,对于推进开放研究、确保结果可信,以及调查数据与模型偏见和潜在风险都至关重要。"

这句话出自苹果 OpenELM 论文摘要,由 Ars Technica 引用。苹果表示此次发布旨在赋能并丰富开放研究社区。它并未把这一代模型放进自家消费设备,Ars Technica 报道称,预计 6 月在 WWDC 上展示的 iOS 18 当时有传闻会带来设备端 AI 功能,而更重的处理有可能由苹果雇请谷歌或 OpenAI 来完成。

谷歌把工具箱做大

谷歌的 AI Edge 团队走了另一条路。在 2025 年 5 月 20 日的一篇博文中,该团队称已把设备端支持从最初的四个模型扩展到十几个,其中包括 Gemma 3 和 Gemma 3n,托管在 LiteRT 的 Hugging Face 社区上。

Gemma 3 1B 体积为 529MB,在移动 GPU 上预填充速度最高可达每秒 2585 个 token,谷歌称这足以在一秒内处理一页内容。Gemma 3n 以早期预览形式推出,有 20 亿和 40 亿参数两个版本,支持文本、图像、视频和音频输入;文本和图像已在 Hugging Face 上线,音频随后跟进。该公司还发布了一个检索增强生成库和一个函数调用库,两者都先在 Android 上提供,这样设备端模型就能从一千页文档或照片里取出相关上下文,并用自然语言触发应用功能。

这一切之上有一个前提。谷歌自己的量化指南称,与 bf16 相比,int4 可以把模型体积缩小 2.5 到 4 倍,同时降低延迟和峰值内存,而这一交换并非没有代价:精度下降会损失一些准确率,这是每个设备端部署都必须设定的旋钮。

评论 0

资料来源

2
  1. 01Apple releases eight small AI language models aimed at on-device useEN
  2. 02On-device small language models with multimodality, RAG, and Function CallingEN

本文所有数字与引语均来自下列来源,未添加来源之外的内容。

本内容由编辑部在人工智能辅助下制作完成。

林晓雯

林晓雯

人工智能、模型与技术

林晓雯负责FLASH24的人工智能、模型与技术方向,主要写科技、人工智能与模型、媒体与互联网三个领域。她习惯从论文预印本、开源代码库和厂商技术文档入手,先核对训练数据来源和评测口径,再决定是否落笔。遇到模型跑分,她会自己复现一遍小规模测试,并对照独立第三方榜单,确认数字没有注水。她常联系一线工程师和产品经理,也盯着各大会议截稿日,把不同版本的技术报告放在一起比。业余时间她玩3D打印、折腾老电脑,还关心模型从网络垃圾里学到的偏见问题,这让她对数据清洗格外敏感。她有一条原则:拿不到原始数据的性能宣称,不写。

编辑部 →

评论

0
  1. 还没有评论——来说两句吧。

写评论

评论公开展示。我们不发布辱骂、垃圾信息和广告内容。