决策模型与小参数本地智能体:AI 向边缘靠近的一周
Liquid AI 于 10 月 5 日发布 d1,这是其首个支持视觉输入的决策模型。公司称它在六项实际应用中的四项上与 GPT-6.1 Sol 持平或更优,而成本低 19 倍到 200 倍。同一天还出现了 Reflection 的 5010 亿参数开放权重模型、一个 8 亿参数的编码路由模型,以及 Expat 的 64 位修复。这些发布都指向更便宜、更快的推理,而不是更大的模型。
Liquid AI 在 10 月 5 日发布了决策模型 d1。它针对文本或图像回答问题,输出的是概率,而不是逐字生成。公司博客称,一次文本决策耗时 200 到 300 毫秒。这是厂商的说法,不是独立基准测试。但方向很清楚:卖点是延迟和单次决策的价格,而不是绝对能力。
Liquid 还称,在六项受测应用中,d1 在其中四项上与 GPT-6.1 Sol 持平或更优。公司表示,该模型的成本比 GPT-6.1 Sol 和 Claude Opus 5.5 都低 19 倍到 200 倍。Liquid 在六项应用上测试了 d1,从筛选客服工单到检测电路板。公司称,在未经针对性训练的公开 VisA 数据集上,该模型区分良品与缺陷件的准确率为 85% 到 97%。在一个编码智能体演示中,d1 在上下文压缩时删掉了 52% 的工具输出 token。博客称,任务需要的每一条输出都保留了下来。
决策模型到底做什么
Liquid 把问题分成三类:Noul(带概率的是/否)、Choice(从多个标签中选一个)和 Score(在量表上的位置)。一次请求可以针对同一状态提出多个问题,从而减少输入 token。
视觉这一侧比文本更重要。加上屏幕信息后,d1 在俄罗斯方块中的成绩从消除 70 行提高到 81 行。在 Wordle 中,它直接从截图读取棋盘,12 局全部解出,平均用 3.8 次猜测。这些是游戏,但说明了集成方式:不需要把环境序列化成文本。
走这条路的不止 Liquid。Sean Goedecke 在 10 月 5 日提出,Jev 这类所谓 System One 模型是快速的通用分类器,任何工程团队都能用提示词调用。他写道,提示词调好之后,团队可以收集输入输出对,再据此训练一个更小的专用分类器。他的文章称,这样构建的结果「出奇地容易」,而且快得多。这是对厂商叙事的有益平衡:真正持久的收益可能来自蒸馏,而不是通用模型本身。
Reflection 用 5010 亿参数押注推理效率
Reflection 在 10 月 5 日推出 Beam,这是其首个开放权重模型。据公司博客,Beam 是稀疏混合专家模型,总参数 5010 亿,激活参数 230 亿。它的预训练数据量为 238000 亿 token。强化学习阶段在 10500 块 NVIDIA GB300 GPU 上训练四周,生成了超过 1 亿条 rollout。Reflection 称,Beam 在编码和智能体任务上与 GLM 5.2 等更大的开放模型相当,并接近 Qwen 3.8-Max。公司表示,在高级推理基准上,Beam 的推理算力消耗少 3 到 4 倍。
厂商表格要仔细看。在 SWE Bench Pro v2-Hard 上,Beam 得分 77.2,Kimi K3 为 88.2。在 Terminal Bench v2.1 上,Beam 得分 80.1,Kimi K3 为 88.3,DeepSeek V4.1 Flash 为 90.6。Reflection 承认,Kimi K3 这类前沿开放模型在绝对能力上仍然领先。权重、技术报告和模型卡都还没放出。博客称它们将在本月晚些时候发布,模型目前仍在最终的红队测试中。在那之前,这些数字只能当作厂商声明。
效率是把这一天串起来的主题。Reflection 明确把 Beam 定位为企业主力场景下「每个 token 更多智能」。Liquid 则把 d1 定位为在答案结构化时替代昂贵语言模型调用的手段。两者都在说,下一轮竞争比的是每个有用答案的成本。
小模型,小框架
10 月 5 日的两个 GitHub 发布把同样的思路推到了笔记本上。Jeff-Code 是 Mario Zechner 及贡献者对 Pi 编码智能体的分支。它把一个 8 亿参数的决策模型 Jeff 放进智能体循环,与 Qwen 3.8-27B 并列。Jeff 判断下一步能否自己完成,以及某一轮 Qwen 是否需要深度思考。仓库报告了 1242 个配对任务。通过率为 62.4%,而只用 Qwen 时为 62.8%,配对差值为负 0.2 个百分点,95% 区间为负 2.6 到正 2.1。每任务耗时为 0.68 倍,中位数 0.70 倍。Qwen 约四分之三的轮次在关闭思考的情况下运行。
来自 alexwkleung 的编码智能体命令行工具 Reika 则从相反的起点出发。它面向 80 亿到 350 亿参数的本地模型,量化级别 Q2 到 Q4,上下文窗口 32000 token。
它公布的发现并不好看,这反而让人信服。一次上下文中段的改写重新处理了 8453 个提示 token,预填充耗时 7.9 分钟。同一会话中一次追加只花了 25 个 token 和 3.5 秒。一次无法服务的调用返回「0 个匹配」的 grep,让模型连续五轮改写一个本来正确的模式。README 称,提示词措辞是最弱的杠杆。它还提到,在 Q2 下面对模糊任务时,模型收敛和跑偏的概率大约各占一半。
两个项目都没有声称让小模型变聪明。Jeff-Code 自己的提醒是,总耗时下降幅度小于单任务耗时。在约 5% 的任务上,它比只用 Qwen 多跑 30 分钟以上。Reika 还处于 1.0 之前,并称不同版本之间行为可能变化。两者合起来是对基准表格的踏实补充,因为它们展示了时间和钱实际花在哪里。
技术栈的其他角落
10 月 5 日的基础设施发布安静一些,但对任何在边缘跑推理的人都相关。据维护者博客,Expat 2.9.0 修复了 CVE-2026-77214,即 XML_ParseBuffer 中的越界读取。它还修复了 CVE-2026-102633,一个影响 32 位平台的整数溢出。该版本新增 Properties API 和 64 位位置 API。它弃用了自 2006 年起就造成 ABI 兼容性分裂的 XML_LARGE_SIZE 宏。慕尼黑市的开源休假项目资助了这项工作,目前处于计划六个月中的第三个月。
mold 3.0.0 同日发布,从 C++ 重写为 Rust。发布说明称它是 2.42.1 的直接替代品,选项、目标平台和输出都相同。说明还称,链接性能与之前相当。安全方面的理由很具体。C++ 版本在输入损坏时可能越界读取并段错误。Rust 版本对这些读取做边界检查,遇到错误访问时直接 panic。构建现在使用 Cargo,并要求 Rust 1.95 或更高版本。
模型方面,Interfaze 发布了 Interfaze 1.1 Lite,一个混合架构模型。它在单块 80 GB GPU 上运行,不依赖外部服务。它把视觉语言推理核心与文档阅读、语音、版面、分割和预测等专用模型组合在一起。其模型卡称,95 分钟的录音约 90 秒即可转写完成。它报告 VoxPopuli-Cleaned 的词错误率为 3.01,落后于 Interfaze 自家的 2.4,但优于 Gemini-3-Flash 的 4.0。NASA 和 IBM 还发布了 NASA-IBM Lunar Foundation Model 的微调代码,附带用于陨石坑检测和冰资源勘探的 TerraTorch 配置。
这些加起来并不是一次产品发布。它们是同一天的一批发布,全都朝同一个方向用力:更小的激活参数量、更便宜的单次决策推理,以及把上下文当作预算来管理的框架。
悬而未决的问题是,这些效率声明能否经受独立测试。对 Beam 来说,这要等本月晚些时候权重放出才开始。
资料来源
12- 01d1: The most capable decision model, now with visionEN
- 02Introducing Beam: Reflection's 501B open-weight modelEN
- 03Jeff-Code: a 0.8B model makes Qwen 3.8-27B coding 47% faster, same pass rateEN
- 04Reika: a coding agent CLI designed around small local models firstEN
- 05Expat 2.9.0 released, fixes two vulnerabilitiesEN
- 06Mold Linker Version 3.0.0 Release, Rewritten in RustEN
- 07Interfaze-1-lite: the first open-weight model for deterministic taskEN
- 08System One models like Jev can train their own replacementsEN
- 09NASA-IBM Lunar Foundation Model and fine-tuning codeEN
- 10Sales of sub-€25,000 electric car models set to rise sevenfoldEN
- 11Study: Path discovered to make AI models red-flag their doubtful answersEN
- 12Precogly (The open-source alternative to commercial threat modeling platforms)EN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。