小模型走向本地部署:Echo、Phonon-2、Strata 与 Nimble 一周内集中发布
Fulcrum 于 9 月 30 日发布 Echo,称其训练成本不到 5000 美元,在风格模仿上胜过前沿模型。同一天发布的还有 Phonon-2、Strata,以及 Ollama 的决策模型接口。这四个小型或本地优先的发布里,Echo 是其中之一。
9 月 30 日,Fulcrum 发布写作模型 Echo,称它在风格模仿上表现最好。公司表示,训练成本不到 5000 美元。发布页面还称,从小说到技术说明,Echo 在写作任务上胜过前沿模型。模型目前尚未开放:Fulcrum 说计划很快开源,并正在接受规模化使用的联系申请。
这一说法建立在一个 Fulcrum 自己搭建的指标上。它计算标准的文体计量特征,再用这些特征生成风格 Elo,声称在训练中见过的作者和留出的作者上都达到当前最佳。写作质量并没有公认的权威指标,公司也在页面上写明了这一点。在有人独立复跑之前,这个排名只能算它自己的记分牌。
Fulcrum 对低成本给出的解释是“引出”。它认为模型本身已经压缩存储了作者风格的知识,监督微调主要是教它把已有的东西激活出来。SFT 阶段,它用互联网上的人类写作来播种人设,外面包上由前沿模型生成的合成提纲,再以该提纲为条件在原始帖子上做微调。第二阶段针对一个声音指标做词元级强化学习。Fulcrum 说,这一步把人设收益带进了聊天请求,并修复了它从离策略人类数据中看到的推理损失。
有一个细节值得提醒那些把 AI 检测器当作劣质内容代理指标的人。Fulcrum 写道,检测器 Pangram 判定 Echo 的文字为人类所写的频率高于前沿模型。它称,在稍微更详细的提示下,Echo 多数时候被标为人类所写。这是 Fulcrum 有意的设计选择,不是意外,也与“模型越好越容易被识破”这一常见假设相反。
164 MB 的语音识别
同一天,Fermion Research 发布英语语音识别模型 Phonon-2,下载体积 164 MB。Fermion 称,它在 Open ASR Leaderboard 的七个英语测试集上平均词错误率为 5.21%,而所有表现更好的开源模型体积至少是它的 5.8 倍。编码器把每个权重存为五个学习到的等级之一,约 2.1 比特,按三进制数字打包,每字节五个。
最受关注的对比是它与自己的教师模型,一个 2.5 GB 的全精度模型。Fermion 称,Phonon-2 在每个测试集上都保持了教师模型的准确率,在议会演讲上达到其词准确率的 100.8%,在会议场景上超过教师模型,而下载体积小 15 倍。在 MacBook Air 上,它把一小时音频转成文字约需 20 秒。在八个 CPU 核心上,同样一小时需要 25 秒;在一块 H100 上,整天的音频以 128 为一批处理只需 13 秒。
Fermion 对它的快速路径很谨慎。它说每一条快速路径能上线,都是因为其词错误率保持在精确路径的噪声范围内。判定方法是配对自助法,对片段重采样 4000 次,得到覆盖零的 95% 区间。权重采用 CC-BY-4.0 许可,这也是它们所衍生的 NVIDIA Parakeet TDT 0.6B v3 的许可。模型可在 Mac、Linux、Windows 和 NVIDIA GPU 上运行,fermion 命令行工具可从 PyPI 安装。
两个发布指向同一个变化:过去需要数据中心的能力,正在被压缩进笔记本能装下的文件里。Phonon-2 的 164 MB 比大多数人的照片库还小。Echo 的训练预算比一名工程师一个月的工资还少。这两个数字都不能说明模型好。它们说明的是,把一个模型做出来上线的门槛降下来了。
在游戏 PC 上跑 1250亿 参数模型,算是吧
9 月 30 日发布到 GitHub 的 Strata 走的是相反路线:它不缩小模型,而是流式读取。项目提供 Windows 和 Linux 的一键安装,在消费级硬件上运行 Qwen3.8-Flash-Next,把内存装不下的部分从 SSD 读取。其文档列出一个 2.00 bpw 的版本,体积 257 GB,需要约 265 GB 可用磁盘空间,另有一个去掉一半专家的编码版本,体积 191 GB。
实测数字不算高,项目也没有遮掩。在一块 12 GB 显存、64 GB 系统内存的 RTX 5070 上,Strata 报告输出速度为每秒 4 到 6 个词元,4K 上下文下提示读取约每秒 110 个词元。一块 12 GB 显存、46 GB 内存的 RTX 3060 达到每秒 9 到 11 个词元。单块 251 GB 内存的 Radeon AI PRO R9700 达到每秒 21 到 25 个词元。四块这样的卡达到 74 到 77。
支持的硬件范围很窄,而且写得很清楚:Windows 和 Linux 上的 NVIDIA RTX 30、40、50 系列,Linux 上的 AMD Radeon AI PRO R9700,Windows 上的 AMD Ryzen AI Max Strix Halo,以及内存 64 GB 或以上的 Apple Silicon Mac,仅限文本。项目免费开源,无需账号,在 localhost 上提供 OpenAI 或 Anthropic 风格的 API。对于有块大 SSD 又肯等的人来说,这是一个真实可用的选项,但替代不了托管接口。
决策模型栈在整合
Ollama 于 9 月 30 日发布 0.35 版,通过新的 /v1/systemone 接口支持决策模型,沿用 TypeSafe 的 Jev API。你把文本作为状态、再附上一组命名问题发过去,本地模型在一次请求里全部作答。Ollama 把它定位在工单分派、模型路由和内容审核,并称在其吃豆人示例中,Nimble 9B 在 M5 Max 上平均每次决策耗时 91 毫秒。
Nimble 是 Bespoke Labs 的 90亿 参数模型,从 Qwen3.5-9B 微调而来,是该格式的参考实现。其代码库记录了时间线:TypeSafe 于 2026 年 9 月 14 日发布 Jev,Bespoke 于 9 月 18 日以 Bespoke-Nimble-9B 之名发布 Nimble-v1,Ollama 于 9 月 29 日加入 Nimble-v2,Nimble-v4 和 Nimble-v4-max 于 10 月 13 日在 API 上线。Bespoke 称,Nimble-v4-max 在 Decision Index 公开测试集上得 68.46,Nimble-v4 得 63.70,而 Jev 1.13 为 57.96,Perplexity Decider v1.1 为 62.25。代码库说明,这些是 Bespoke 自己 10 月 12 日的运行结果,尚未出现在该指数的看板上。
Ollama 的模型页面列出三种问题类型:从列表中选一项、回答真或假、或把某项放到评分表上。一次请求最多可对同一段文本提出 64 个问题,选择类和评分类问题接受 2 到 26 个选项,答案会附带概率和一个置信值,Ollama 注明这个置信值不是答案正确的概率。最后这条提醒比看上去更重要。一个自信的错误答案仍然是错的,API 给你的是可以核对的数字,而不是结论。
这套栈里还有一层蒸馏。9 月 30 日发布到 GitHub 的项目 Jevstiller 挡在重复的 Jev 分类调用前面,从 Jev 自己的答案及其概率分布中学习,然后在本机回答大部分请求。在 Banking77 上,用默认设置对 Jev 记录的答案重放,它的本地模型回答了 61.7% 的留出消息,与 Jev 的一致率为 99.40%,目标是 98%,并把 Jev 的准确率保持在 78.8%,而数据集标签为 78.5%。项目称,本地回答在 CPU 上约需 15 毫秒,比 Jev 300 毫秒的中位数快约 20 倍。
这一周究竟说明了什么
放在一起读,这些发布描绘出一个一分为二的市场。一半在压缩:Phonon-2 是 164 MB,Echo 的训练成本不到 5000 美元,Nimble 用 90亿 参数在 100 毫秒内作答。另一半在流式读取:Strata 把 257 GB 权重通过一台游戏 PC 以个位数词元每秒的速度搬运,让一个 1250亿 参数级别的模型在没有服务器的情况下跑起来。
压缩这一半的证据更扎实。Fermion 公布了评测方法,说明了它继承的许可,并交代了哪些快速路径是以噪声级等价为门槛放行的。Fulcrum 公布的指标是自己发明的,说服力更弱,但它明确说没有权威指标。Strata 公布了吞吐表,并附上硬件配置,这比大多数推理项目做得都多。
缺的一环是独立验证。这些数字没有一个被第三方复跑过,其中几项来自出售成果的机构。Open ASR Leaderboard 是公开基准,这对 Phonon-2 有帮助,但 Nimble-v4 的 Decision Index 分数是 Bespoke 自己的,Echo 的风格 Elo 是 Fulcrum 自己的。发布周出现这种情况很正常,但仍然值得明说。
变了的地方不是小模型变好了。而是运行、评测和蒸馏它们的工具链现在能装进一台笔记本,做这些事的人每周都在发布。9 月 30 日这一批是四个不相关的团队在同一天的四次发布,没有一个是大型实验室。故事就在这里。
资料来源
11- 01Echo – A SOTA writing model for style imitationEN
- 02Phonon-2: most accurate open speech recognition model in a 164 MB downloadEN
- 03Strata: Run a 125B-parameter AI model on a normal gaming PCEN
- 04Ollama now supports Jev-style decision modelsEN
- 05Ollama now supports Jev-like decision models all locally in 0.35EN
- 06Nimble: Data, Model, Recipe for an Open Jev (From Bespoke Labs)EN
- 07Jevstiller: Distill a repeated Jev classification task into a local modelEN
- 08Coop: A small language model pretrained by volunteersEN
- 09PSSA: A non-transformer language model written from scratch in RustEN
- 10AI models keep posting screenshots showing sensitive data from tech companiesEN
- 11TalkScribe – On-device dictation and local LLM rewrite for macOSEN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。