跳到正文
世界时间EU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

关于人工智能与技术的门户事件 · 分析 · 访谈 · 技术背景

搜索
直播
›

谷歌把端侧 AI Edge 扩展到 Gemma 3n,加入 RAG 和函数调用

谷歌 5 月 20 日表示,其 AI Edge 技术栈现已支持十余款端侧小型语言模型,其中包括 Gemma 3n 的早期预览版。这是该公司首款面向手机的多模态小模型。

人工智能与模型新闻王雅琴发布: 2026年9月28日3 分钟阅读资料来源 4
谷歌把端侧 AI Edge 扩展到 Gemma 3n,加入 RAG 和函数调用

谷歌在开发者博客上公布了这些细节,同时推出两个新库:一个用于端侧检索增强生成(RAG),一个用于函数调用。两者都先在 Android 上线,其他平台随后跟进。

谷歌的说法是,小型语言模型(SLM)已经走过了演示阶段。这篇博客由高级产品经理 Mark Sherwood 和四名工程师撰写,举了几个场景:现场技术员在没有信号的地方拍摄零件,仓库员工用语音更新库存,还有一款医疗应用把口述的病人病史转成填好的表单字段。每个例子都假设模型在本地运行,不需要往返服务器。

谷歌给出的数字很具体。今年早些时候推出的 Gemma 3 1B 大小为 529MB,在移动 GPU 上预填充速度最高可达每秒 2,585 个 token。公司称这足以在一秒内处理一页内容。体积小意味着能覆盖更多设备,也限制了应用强制用户下载的数据量。

更新的 Gemma 3n 以早期预览形式出现,有 20亿 和 40亿 参数两个版本,都原生支持文本、图像、视频和音频。目前 Hugging Face 上只有文本和图像,音频稍后提供。谷歌还提到新的量化方案,与 bf16 相比可将模型体积缩小 2.5 到 4 倍,同时降低延迟和峰值内存占用。

苹果和其他公司也在解决同一个问题

谷歌并非第一家。Ars Technica 在 2024 年 4 月 25 日报道,苹果以 OpenELM 之名发布了八个源码可获取的模型,参数量从 27000万 到 30亿 不等,小到可以在智能手机上运行。苹果公布了模型权重、训练代码和可复现的配方,不过 Apple Sample Code License 带有一些限制,可能不符合严格意义上的开源定义。

苹果的白皮书称,通过其所谓的逐层缩放策略,在只用一半预训练 token 的情况下,准确率比 Allen AI 的 OLMo 1B 高出 2.36%。作为参照,Ars Technica 指出当时 Meta 最大的 Llama 3 模型有 700亿 参数,而 OpenAI 2020 年的 GPT-3 有 1750亿 参数。一个 529MB 的模型完全是另一类东西。

大型语言模型的可复现性和透明度,对于推进开放研究、确保结果可信、以及调查数据和模型偏差及潜在风险都至关重要。

这段话出自苹果 OpenELM 论文的摘要。该公司还警告说,用公开数据集训练的模型可能产生不准确、有害、有偏差或令人反感的内容。

研究怎么说局限

2024 年 11 月的一篇 arXiv 论文介绍了 SlimLM,这是一系列从 12500万 到 70亿 参数的模型,针对三星 Galaxy S24 上的文档辅助任务做了调优。作者报告其性能与现有小模型相当或更好,并发布了一款 Android 应用。他们同时指出,端侧处理可以削减服务器成本、改善隐私。论文自己的说法是,手机上的真实表现仍然研究不足。

还有一个更让人不舒服的发现。Prashant Mudgal 的另一篇 arXiv 论文测试了七种置信度方法,覆盖 7 组模型配对和 5 个基准。结果发现,token 级熵在 10亿 参数以下的模型里基本失灵:在 91% 的数据集与模型组合中,无论答案对错,平均 token 熵都接近零。语义熵通过采样多个答案并按含义聚类,能恢复出可用的信号。把不确定的查询转给更大的专家模型,准确率最多提升 50 个百分点;跨家族路由平均为 +22.0%,同家族路由为 +6.8%。

谷歌的函数调用库在实践中也做了类似的让步。博客提到它可以搭配一个 Python 工具模拟库,后者生成合成数据来提升函数调用的准确率。这等于承认小模型在能被信任去执行动作之前还需要帮助。

谷歌没有说明 Gemma 3n 何时结束预览,也没有说 RAG 和函数调用库接下来会登陆哪些平台。

评论 0

资料来源

4
  1. 01On-device small language models with multimodality, RAG, and Function CallingEN
  2. 02Apple releases eight small AI language models aimed at on-device useEN
  3. 03SlimLM: An Efficient Small Language Model for On-Device Document AssistanceEN
  4. 04Do small language models know what they don't know?EN

本文所有数字与引语均来自下列来源,未添加来源之外的内容。

本内容由编辑部在人工智能辅助下制作完成。

王雅琴

王雅琴

人工智能、模型与技术

王雅琴负责FLASH24的人工智能、模型与技术报道,覆盖科技、人工智能与模型、媒体与互联网领域。她习惯直接查阅技术文档、模型卡与官方博客,而非依赖新闻稿,对未经核实的参数和跑分数据一概不放行。每篇报道前,她会逐项核对基准测试结果,对照论文原文与开源代码,确认版本号、数据集和评测条件是否一致。她常联系开发者与研究人员求证细节,也盯着各大厂商的发布会和论文截稿日期,横向比较同类模型的实际表现。私下她自建服务、折腾家庭网络,这让她对部署成本和真实算力需求有直观判断。她的原则是:没有可复现来源的数字,不写进稿子。

编辑部 →

评论

0
  1. 还没有评论——来说两句吧。

写评论

评论公开展示。我们不发布辱骂、垃圾信息和广告内容。