跳到正文
世界时间EU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

关于人工智能与技术的门户事件 · 分析 · 访谈 · 技术背景

搜索
直播
›

小模型走向设备端:苹果、谷歌、Imbue 与 Cactus 推动本地 AI

苹果、谷歌以及一些较小的公司正把小型语言模型装进手机、笔记本电脑和可穿戴设备。它们押注推理能在本地跑,不必放进数据中心。

人工智能与模型新闻林晓雯发布: 2026年9月27日5 分钟阅读资料来源 6
小模型走向设备端:苹果、谷歌、Imbue 与 Cactus 推动本地 AI

2024 年 4 月,苹果以 OpenELM 之名发布了八个源码可获取的小型语言模型。据 Ars Technica 报道,参数量从 27000万到 30亿不等。模型以苹果样例代码许可证上传到 Hugging Face。Ars Technica 指出,源代码虽然可以获取,但许可证的限制可能不符合通常公认的开源定义。

八个模型里,四个是预训练模型,四个经过指令微调。上下文窗口上限都是 2048 个 token。训练数据混合了 RefinedWeb、去重后的 PILE、RedPajama 的一个子集和 Dolma v1.6 的一个子集。苹果称总量约为 18000亿个 token。

苹果的白皮书称,分层缩放策略让 OpenELM 的准确率比 Allen AI 的 OLMo 1B 高 2.36%,而预训练用的 token 只有后者的一半。公司还发布了训练库 CoreNet 和可复现的训练配方,权重因此可以复制。Ars Technica 称,对当时的大型科技公司来说,这并不常见。

参数量只是衡量能力的粗略指标,苹果的模型远小于最大的那些系统。Meta 的 Llama 3 系列已达到 700亿参数,4000亿参数的版本也在筹备中。OpenAI 的 GPT-3 在 2020 年发布时有 1750亿参数。这项研究押的是:小模型如今能做到大得多的模型几年前做到的事。

谷歌加入多模态、RAG 与函数调用

2025 年 5 月 20 日,谷歌 AI Edge 团队表示已扩大对设备端小型语言模型的支持。项目从最初的四个模型增加到十多个,包括 Gemma 3 和 Gemma 3n,托管在新的 LiteRT Hugging Face 社区。Gemma 3n 以早期预览形式推出。谷歌称它是 Gemma 首个多模态设备端小型语言模型。20亿和 40亿参数版本支持文本、图像、视频和音频输入。文本和图像先上线 Hugging Face,音频随后跟进。

谷歌还给出了压缩工作的具体数字。它表示,与 bf16 相比,int4 训练后量化能把语言模型缩小 2.5 到 4 倍,同时降低延迟和峰值内存。Gemma 3 1B 体积为 529MB,在移动 GPU 上预填充速度可达每秒 2585 个 token。谷歌称,这足以在一秒内处理一页内容。

随模型一起发布的还有两个库。AI Edge RAG 库发布时已在 Android 上可用,模型不用微调就能调用应用专属数据。谷歌称,它可以从 1000 页文档或 1000 张照片中挑出最相关的片段。函数调用库同样优先面向 Android,让模型自己决定何时调用预定义函数。一个示例应用能从口述语音中填写医疗表格。

大型语言模型的可复现性和透明度,对推进开放研究、确保结果可信,以及支持对数据和模型偏见及潜在风险的调查都至关重要。

这句话出自苹果 OpenELM 论文摘要,由 Ars Technica 引用。苹果还提醒,这些模型是在公开来源的数据集上训练的,因此可能生成不准确、有害、有偏见或令人反感的内容。Ars Technica 报道称,预计 6 月在 WWDC 上亮相的 iOS 18 据传会包含设备端 AI 功能。苹果也可能雇用谷歌或 OpenAI 处理更重的设备外计算。

手机上的基准测试,以及信息流的过滤器

2024 年 11 月的一篇 arXiv 论文提出了 SlimLM,这是一系列为移动端文档辅助而调优的模型,作者包括 Thang M. Pham。研究者在三星 Galaxy S24 上做实验,考察模型规模(从 12500万到 70亿参数)、上下文长度和推理时间之间的取舍。SlimLM 在 SlimPajama-6270亿 上预训练,再在 DocAssist 上微调,后者是作者为摘要、问答和建议任务自建的数据集。他们还发布了一个 Android 应用。

Imbue 的 Bouncer 走了另一条路。它于 2026 年 4 月 8 日发布,9 月 25 日更新,用一段平实的语言描述来过滤 X/Twitter 信息流。它使用公司称为 Gemma 4 26B-A4B 的开源模型。Imbue 表示,目前该模型由自家数据中心提供,同时正努力让它直接跑在笔记本电脑或手机上。Bouncer 有 Chrome 扩展、Firefox 附加组件和 iPhone 应用三种形式。Reddit、LinkedIn 和 Safari 的支持列为即将推出。

Cactus Compute 的 Needle 3 在 2026 年 9 月 18 日发布,规模更小。公司称其为 12100万到 27000万参数的阶梯式模型,产出 9 到 29 MB 的 CQ2 位二进制文件。它给出的速度是:在树莓派 5 上解码每秒 400 到 4000 个 token,预填充每秒 1 到 10000 个 token。Cactus 表示,在下游任务上训练一个 epoch 后,这个 4 层子网络可以媲美 DeepSeek V4 Flash。

Needle 3 面向工具调用、结构化抽取和文本嵌入。列出的用例涵盖智能家居、机器人、手机、可穿戴设备、AR 眼镜、汽车和 PC。每个回答都带有校准头给出的置信度分数。引擎设了 0.1 的下限,低于该值的调用会被扣下,放进 suppressed_calls 字段。

有一项研究结果给这股热情泼了冷水。Prashant Mudgal 在 2026 年 7 月 21 日提交的论文发现,参数量低于 30亿的模型里,token 级熵实际上失去了分辨力。在 91% 的数据集与模型组合中,无论答案是否正确,平均 token 熵都接近零。语义熵则通过采样多个答案并按含义聚类来计算,能恢复出可用的信号。把不确定的查询转交给更大的专家模型,准确率最多提升 50 个百分点。跨家族路由平均提升 22.0%,同家族路由为 6.8%。

论文对本地推理的含义说得很直接。它认为,熵方法在小模型中的价值不在于节省算力,而在于智能地分配算力:把更多 token 花在最需要的地方。就目前而言,设备端 AI 的卖点仍落在隐私、延迟和成本上。可靠性这个更难的问题还没有答案。

评论 0

资料来源

6
  1. 01Apple releases eight small AI language models aimed at on-device useEN
  2. 02SlimLM: An Efficient Small Language Model for On-Device Document AssistanceEN
  3. 03On-device small language models with multimodality, RAG, and Function CallingEN
  4. 04Do small language models know what they don't know?EN
  5. 05Show HN: Control your X/Twitter feed using a small on-device LLMEN
  6. 06Show HN: Cactus Needle 3: 8-29MB automation models can match DeepSeek V4 FlashEN

本文所有数字与引语均来自下列来源,未添加来源之外的内容。

本内容由编辑部在人工智能辅助下制作完成。

林晓雯

林晓雯

人工智能、模型与技术

林晓雯负责FLASH24的人工智能、模型与技术方向,主要写科技、人工智能与模型、媒体与互联网三个领域。她习惯从论文预印本、开源代码库和厂商技术文档入手,先核对训练数据来源和评测口径,再决定是否落笔。遇到模型跑分,她会自己复现一遍小规模测试,并对照独立第三方榜单,确认数字没有注水。她常联系一线工程师和产品经理,也盯着各大会议截稿日,把不同版本的技术报告放在一起比。业余时间她玩3D打印、折腾老电脑,还关心模型从网络垃圾里学到的偏见问题,这让她对数据清洗格外敏感。她有一条原则:拿不到原始数据的性能宣称,不写。

编辑部 →

评论

0
  1. 还没有评论——来说两句吧。

写评论

评论公开展示。我们不发布辱骂、垃圾信息和广告内容。