小模型走向本地：新工具与5010亿开放权重重塑端侧AI

Reflection于10月5日推出首个开放权重模型Beam。

它采用稀疏混合专家架构，总参数5010亿，激活参数230亿，面向编程、推理和智能体任务。公司博客称，Beam在238000亿个token上完成预训练。高算力强化学习在四周内、于10500块NVIDIA GB300 GPU上生成了超过1亿次rollout。

本地推理的理由

Beam追求的是推理效率，不是单纯的规模。

公司称其得分可与GLM-5.2相当，推理算力却只用三分之一到四分之一。在编程任务上，它接近Qwen 3.8-Max。Kimi K3这类前沿模型在原始能力上仍然领先，Beam的优势在每token成本。权重尚未公开，正在进行最后的红队测试。Reflection将在本月晚些时候发布权重、技术报告和模型卡。

这一发布恰逢一批工具涌现。它们让真正的小模型，也就是80亿到350亿参数区间的模型，变得可用于日常开发。这股趋势不只为了省钱，还关乎延迟、隐私，以及在自己拥有的硬件上运行智能体。

修补小模型体验的工具

Reika是一款优先围绕小型本地模型设计的编程智能体命令行工具。它面向80亿到350亿参数的模型，通常量化为Q2到Q4，上下文窗口为16000到32000。10月5日发布的README指出，这套框架对上下文很谨慎，失败时也更体面，卡住时会说明情况。项目尚未到1.0，命令和设置仍可能变化。测试中，140亿到350亿参数的模型处理多文件任务最可靠，80亿到90亿参数的模型能应付简单、范围明确的任务，70亿以下很少能走远。

开发者把发现写在了docs/findings.md中。

一次上下文中段的改写重新处理了8453个token的提示，预填充耗时7.9分钟。同一会话中的一次追加只花25个token和3.5秒。框架自身的上下文管理比模型还贵。他们还发现，提示措辞是最弱的杠杆。在Q2下面对模糊任务时，模型收敛或跑偏大约各占一半，框架无法改变这个比例，只能降低失败那一半的成本。

Jeff-Code走了另一条路。它是Mario Zechner的编程智能体Pi的分支，把8亿参数的决策模型Jeff放进智能体循环。每轮Qwen前后，Jeff做两次约0.2秒的快速判断。它决定自己能否执行下一步，比如读文件或跑测试；写文件和改文件始终交给更大的模型。它还决定Qwen是否需要深度思考。除非Jeff判断该轮需要完整思考的概率达到0.6，否则思考保持关闭。评估中，约四分之三的Qwen轮次在关闭思考的情况下运行。

结果很具体。在配对任务上，Jeff-Code的通过率为62.4%，单独使用Qwen 3.8-27B为62.8%。配对差值为负0.2个百分点，95%区间从负2.6到正2.1。每任务耗时降到基线的0.68倍，所有任务的总耗时为0.86倍。在相同通过率下，这相当于提速47%，或者节省32%的时间。在Terminal-Bench 2.0上提速不明显，比值为0.96。

决策模型与新架构

Liquid AI推出首个决策模型d1，现已支持文本和图像。

决策模型针对某一情境的每个可能答案给出概率。它以非结构化数据和一个或多个问题为输入，一次前向传播读完，直接返回概率，不生成token。一次文本决策耗时200到300毫秒。Liquid AI在六个真实应用上把d1与GPT-6.1 Sol和Claude Opus 5.5做了对比。d1在其中四个应用上追平或超过GPT-6.1 Sol。它的成本比这两个模型低19到200倍，在每个任务上的回答都明显更快。

写过System One模型Jev的Sean Goedecke认为，这类模型可以训练自己的替代品。当Jev分类器的表现令你满意后，可以收集它的输入和输出数据，再用这些数据训练一个专用的手工分类器。它不会是通用分类器，但在特定任务上应该表现很好，而且快得多。把通用系统一模型蒸馏成专用分类器，这种模式很可能会变得常见。

Interfaze AI发布Interfaze 1 Lite，这是一个面向开发者工作负载的混合架构模型。它不是单一网络，而是一个推理核心加若干专家，每个专家负责自己最擅长的任务。整个模型在一块80 GB的GPU上运行，不依赖外部服务。它能处理文档理解、语音转写、视觉定位和结构化输出。一段95分钟的录音约90秒完成转写。它支持14种语言的多语言推理，上下文为131000个token。它在olmOCR-Bench上得83.8分，在Structured Output Benchmark上得81.5分。

端侧推理与隐私

推动本地模型的动力不只是性能，还在于让数据留在设备上。

Dictate是一款完全在设备上运行的iPhone和Apple Watch语音笔记应用。它使用开源语音模型Parakeet转写25种欧洲语言。Apple Intelligence在iPhone上生成可读版本，去掉填充词并处理口语中的更正。音频从不离开手机。没有服务器，没有账户，也没有分析统计。转写文本唯一可能的去向是用户自行设置的webhook，前提是启用了这一功能。

JeffyClassify提供51种语言、在CPU上运行的文本分类器。这些多语言分类器使用一个多语言句子编码器。每个分类器约100 KB，编码器共享。它们在CPU上用了22分钟、基于Amazon MASSIVE训练完成。此外还有面向具体任务的专用分类器，比如短信垃圾识别，准确率达99.1%，以及用逻辑回归实现的实时Doom游戏画面分类，不用神经网络，也不用GPU。

背景与脉络

这些进展对应着一个更大的转变。2026年的Python语言峰会讨论了为CPython引入Rust，该项目旨在提升性能与安全性。作为该项目大使的David Hewitt指出，CPython中类型崩溃问题的数量一直在稳步上升。Rust有助于缓解这些问题。提案是请Python发行版在Python 3.16中尝试可选Rust支持，该版本预计2027年10月发布。这类技术基础设施工作支撑着小模型所依赖的生态。

与此同时，加州大学河滨分校由Het Patel领导的一项研究发现，大语言模型的置信度与正确性来自不同的内部特征。这挑战了模型置信度是准确度可靠指标这一假设。通过识别这些特征，研究者可以调整模型，让它在很可能出错时更谨慎。这是让小型本地模型在决策角色中更可信的一步。

开源社区也在回应新的视频模型。MiniMax于8月3日发布H3的模型权重。三天后它登上Hugging Face趋势榜首位。H3虽然是一个视频模型，它的发布凸显了开放权重在AI生态中的价值。开发者可以下载、部署、量化并修改该模型。正是这种开放获取的精神，让当下这波小型、本地、端侧模型成为可能。

对开发者来说，选择很清楚。需要前沿能力，就用大型托管模型。需要速度、隐私或成本控制，就用小型本地模型。让第二个选项变得可行的工具，终于开始到位了。