谷歌把端侧 AI Edge 扩展到 Gemma 3n,加入 RAG 和函数调用
谷歌 5 月 20 日表示,其 AI Edge 技术栈现已支持十余款端侧小型语言模型,其中包括 Gemma 3n 的早期预览版。这是该公司首款面向手机的多模态小模型。

谷歌在开发者博客上公布了这些细节,同时推出两个新库:一个用于端侧检索增强生成(RAG),一个用于函数调用。两者都先在 Android 上线,其他平台随后跟进。
谷歌的说法是,小型语言模型(SLM)已经走过了演示阶段。这篇博客由高级产品经理 Mark Sherwood 和四名工程师撰写,举了几个场景:现场技术员在没有信号的地方拍摄零件,仓库员工用语音更新库存,还有一款医疗应用把口述的病人病史转成填好的表单字段。每个例子都假设模型在本地运行,不需要往返服务器。
谷歌给出的数字很具体。今年早些时候推出的 Gemma 3 1B 大小为 529MB,在移动 GPU 上预填充速度最高可达每秒 2,585 个 token。公司称这足以在一秒内处理一页内容。体积小意味着能覆盖更多设备,也限制了应用强制用户下载的数据量。
更新的 Gemma 3n 以早期预览形式出现,有 20亿 和 40亿 参数两个版本,都原生支持文本、图像、视频和音频。目前 Hugging Face 上只有文本和图像,音频稍后提供。谷歌还提到新的量化方案,与 bf16 相比可将模型体积缩小 2.5 到 4 倍,同时降低延迟和峰值内存占用。
苹果和其他公司也在解决同一个问题
谷歌并非第一家。Ars Technica 在 2024 年 4 月 25 日报道,苹果以 OpenELM 之名发布了八个源码可获取的模型,参数量从 27000万 到 30亿 不等,小到可以在智能手机上运行。苹果公布了模型权重、训练代码和可复现的配方,不过 Apple Sample Code License 带有一些限制,可能不符合严格意义上的开源定义。
苹果的白皮书称,通过其所谓的逐层缩放策略,在只用一半预训练 token 的情况下,准确率比 Allen AI 的 OLMo 1B 高出 2.36%。作为参照,Ars Technica 指出当时 Meta 最大的 Llama 3 模型有 700亿 参数,而 OpenAI 2020 年的 GPT-3 有 1750亿 参数。一个 529MB 的模型完全是另一类东西。
大型语言模型的可复现性和透明度,对于推进开放研究、确保结果可信、以及调查数据和模型偏差及潜在风险都至关重要。
这段话出自苹果 OpenELM 论文的摘要。该公司还警告说,用公开数据集训练的模型可能产生不准确、有害、有偏差或令人反感的内容。
研究怎么说局限
2024 年 11 月的一篇 arXiv 论文介绍了 SlimLM,这是一系列从 12500万 到 70亿 参数的模型,针对三星 Galaxy S24 上的文档辅助任务做了调优。作者报告其性能与现有小模型相当或更好,并发布了一款 Android 应用。他们同时指出,端侧处理可以削减服务器成本、改善隐私。论文自己的说法是,手机上的真实表现仍然研究不足。
还有一个更让人不舒服的发现。Prashant Mudgal 的另一篇 arXiv 论文测试了七种置信度方法,覆盖 7 组模型配对和 5 个基准。结果发现,token 级熵在 10亿 参数以下的模型里基本失灵:在 91% 的数据集与模型组合中,无论答案对错,平均 token 熵都接近零。语义熵通过采样多个答案并按含义聚类,能恢复出可用的信号。把不确定的查询转给更大的专家模型,准确率最多提升 50 个百分点;跨家族路由平均为 +22.0%,同家族路由为 +6.8%。
谷歌的函数调用库在实践中也做了类似的让步。博客提到它可以搭配一个 Python 工具模拟库,后者生成合成数据来提升函数调用的准确率。这等于承认小模型在能被信任去执行动作之前还需要帮助。
谷歌没有说明 Gemma 3n 何时结束预览,也没有说 RAG 和函数调用库接下来会登陆哪些平台。
资料来源
4- 01On-device small language models with multimodality, RAG, and Function CallingEN
- 02Apple releases eight small AI language models aimed at on-device useEN
- 03SlimLM: An Efficient Small Language Model for On-Device Document AssistanceEN
- 04Do small language models know what they don't know?EN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。