小型语言模型转向边缘端，兼顾隐私与速度

10月6日，谷歌发布EmbeddingGemma 2。这是一个740参数模型，可在内存低至191 MB的设备上本地运行。这一硬件门槛指向一个更大的行业趋势：小型语言模型正从云端走向边缘端，敏感数据不必再传出设备就能处理。

本地推理正在站稳脚跟

据The Decoder报道，新模型把文本、图像、视频、音频和代码转成数值向量，相似内容因此更容易被找到和比较。谷歌称它是同类中最紧凑的模型，在多模态嵌入基准上强于体量最多两倍的对手。它不需要API密钥即可本地运行，在浏览器里通过WebGPU，每次查询约需20到70毫秒。对过去必须往返服务器的实时应用来说，这个速度很关键。

本地执行符合欧洲的数据保护优先事项。The Next Web报道称，数据留在设备上就避免了传输，而欧洲的数据保护问题大多从传输开始。谷歌此前曾在低成本硬件上做过离线翻译器，例如一台80美元的Raspberry Pi，能处理敏感对话而不把音频发往外部服务器。新模型支持100多种语言，不过谷歌指出各语言之间的表现未必一致。

决策模型与专门任务

另一类正在出现的是决策模型。10月7日，Strands Agents推出Strands Decider 2B，这是一个20亿参数模型，针对快速实验和本地开发做了优化。普通语言模型生成任意文本，决策模型则在若干选项之间做选择，并给出简单的数值评分。灵活性降低之后，它们能以极低延迟运行，几十毫秒内返回答案。

TechCrunch报道了Musubi的类似进展。该公司10月6日发布PolicyLM-1.7B。这个轻量决策模型用于实时内容审核，把用平实英语写成的内容政策套用到消息上，耗时不到50毫秒。Musubi联合创始人Filip Jankovic表示，这种做法让平台管理者可以主动给内容打标签，政策变化时无需重新训练，既便于扩展也便于定制。

对效率与失效模式的研究

学术研究关注小型模型为何失效，以及如何让它们更高效。10月6日发表在arXiv上的一篇论文分析了生产系统中开放权重模型的8199次运行。研究题为《What Stops a Small Language Model From Driving a Database Agent》，发现智能体模式下的失败有75.7%来自至少调用过一次工具的运行。这说明瓶颈常常在基础设施和工具集成，而不只是模型的推理能力。作者指出，五项服务器端改动没有触碰任何模型或提示词，就让六个模型在30格评估中移动了6到21格。

其他近期论文探讨内存与量化。一项研究提出MaskAhead，在块扩散语言模型中把键值缓存内存平均降低9.5倍，量化版本达到20.1倍。另一篇论文SoloQ提出无需校准的量化框架，对扩散语言模型把峰值内存最多降低2.61倍，端到端推理最多加速2.24倍。

更大的生态

向设备端AI的转变并不限于文本和嵌入。10月5日，Reflection AI推出Beam，这是一个501参数的混合专家模型，激活参数为230亿。它的总规模不算小，但激活参数很少，因此能在消耗少三到四倍算力的情况下达到GLM-5.2等更大的中国模型的水平。TechCrunch指出，Reflection把自己定位为闭源实验室和中国开放模型的对手，想为企业与主权国家提供一个西方替代方案。

Mistral AI于10月6日发布Mistral Large 4，绰号Le Chonk。这个17亿参数模型在欧洲训练，号称明显强于美国或欧洲开发的任何开放权重模型。The Decoder报道称，Mistral的主要卖点是IT安全，因为该模型能复现并修补Claude和GPT-6等竞争对手因安全过滤而拒绝触碰的软件漏洞。这凸显了设备端与开放权重模型的一大驱动力：为安全与合规掌控硬件和软件栈。

硬件优化为生态提供支撑。英伟达10月6日发布博客文章，讨论电信运营商为何把AI战略建立在开放模型上，理由是更低的延迟和数据主权。更小、更高效的模型与本地硬件能力会合，意味着处理将越来越多地直接发生在用户设备上。