真正接管端侧AI的是决策模型,而不是小语言模型
Liquid AI 于9月29日发布了其首个决策模型系列 d1 的文档。文档描述的是一个分类器:它返回经过校准的概率,生成 token 数为零。同一天,PostHog 发布了 9B 推理分类器 Jeeves,Hugging Face 上还出现了一个名为 Qevi-2B 的 20亿参数视觉微调模型。

本周发布的这些模型,指向的不是更小的聊天机器人。它们回答的是有固定类型的封闭问题,返回的是数字,不是句子。
Liquid AI 在9月29日发布了文档,把卖点讲得很直接。文档说,决策模型“评估一种情况,在一次调用中针对一组固定结果返回经过校准的概率,生成 token 数为零”。API 支持三种问题类型。Noul 是是非题,返回 0 到 1 之间的概率。Choice 返回在若干具名选项上的分布。Score 返回在有序评分标准上按概率加权的位置。在 Liquid 文档的示例响应里,一个客户投诉问题返回的 Noul 为 0.999,输出 token 数为 0。
最后这个数字才是关键。端侧推理通常意味着把生成模型压缩到能塞进手机的程度。决策模型干脆跳过生成这一步,而生成正是本地运行模型的主要开销。
三个发布,一个形状
PostHog 的 jeeves 仓库最后更新于9月29日。仓库介绍它是“一个带扩散起草器的 Jev 式推理分类器,用 SFT 和 CISPO 训练”。模型是 90亿参数的 Qwen3.5-9B 微调版,带 LoRA 和一个指针头,按仓库的说法,它“先思考再决定”。公布的数字称,在留出的测试集上得分为 0.889,Jev 为 0.857,Kev-9B 为 0.822。JevBench 公开层级上的得分是 0.935,Jev 为 0.866。PostHog 报告,在单张 H100 上以 fp8 精度运行,不思考时每次请求约 0.3 秒,思考时中位数 3.3 秒。
同样在9月29日,MeerDevelopment 在 Hugging Face 上发布了一个 20亿参数的视觉模型 Qevi-2B。它是对 Qwen3-VL-2B-Instruct 的完整微调,“通过读取模型自身的 logits 来回答关于图像的有固定类型的封闭问题,而不是生成文本”。模型卡对取舍说得很直白。问它图里有没有梯子,它返回 P(Yes) = 0.97,而不是一句话。换来的是,在留出领域上报告的准确率为 0.889,基座模型为 0.745。报告的期望校准误差为 0.054,基座模型为 0.160。
Qevi-2B 的模型卡还提醒,模型必须通过 logit 读出使用,不能用 .generate()。调用 generate 再解析文本,复现不出公布的数字,因为那不是模型微调时走的路径。这是个小细节,含义却不小。这些系统不能和开发者已经会调用的聊天模型互换。
校准这个说法为什么重要
Sebastian Raschka 在9月29日写了一篇关于文本分类历史的文章,把当下的这波放在脉络里看。他从词袋一路讲到朴素贝叶斯、逻辑回归、RNN 和 transformer。他指出,分类器的优势是速度和成本,而不是通用性。他对 Jev 的表述很谨慎:“Jev 本质上是一个文本分类器”,但“Jev 也不‘只是’一个文本分类器”。
他区分了两类东西:一类是狭窄的任务专用模型,另一类是通用到能处理许多分类任务、不用重新训练的东西。Qevi-2B 和 Jeeves 都处在这中间地带。两者都不是通用助手。两者都声称在没训练过的任务上胜过专门打造的基线。
校准数字是值得细看的部分。Qevi-2B 的模型卡报告,温度缩放让它的校准变差,而不是变好。微调时的标签平滑已经把基座模型的过度自信去掉了。在 T = 2.45 时,留出集的 ECE 回到 0.160,正好是基座模型的数字。模型卡还明确写道,早先的版本推荐过 2.45、1.9 和 3.0。那些值是在微调之前针对基座模型拟合的,不应再使用。
在模型卡上公布这样的更正,坦率得少见。它也打破了一个常见假设:小模型的概率需要事后重新缩放,才能当阈值用。在这里,原始的 softmax 就是校准后的输出。
Jeeves 押的是相反的方向。它的 README 说,Jev 类模型“给出经过校准的决策概率,但准确率低”,因此许多流水线转而使用推理模型。Jeeves 把推理直接训进分类器本身。代价是延迟:在 H100 上不思考 0.3 秒,思考 3.3 秒。不思考时,同一个检查点在 PostHog 的 2962 条测试集上得 0.804,思考时为 0.840。
端侧这件事的关键是内存,不是参数量
Qevi-2B 的实际卖点是吞吐。针对单张图像问很多问题时,它最多快约 21 倍,因为所有问题共用一次编码,并用块对角注意力掩码彼此隔离。模型卡说,答案与逐个提问完全相同,已逐位验证。
Jeeves 就没那么宽容。它需要 Python 3.12 和一块 CUDA GPU,不过推理也能在 Apple Silicon 上跑。在 Mac 上,权重以 bf16 占用 21 GB,默认缓存再占 28 GB,48 GB 的机器就开始换页。PostHog 建议把缓存降到 --max-rows 4 --max-len 4096,或者改用 11.5 GB 的 fp8 权重。在 M4 Pro 上,一个问题思考时约每秒 20 个 token,fp8 下升到约 38。
所以三个模型里最小的那个,才是今天唯一有可能跑在手机上的。另外两个是服务端分类器,只不过比调用前沿模型便宜。
Liquid 的 d1 文档描述的是标准部署路径。用带 liquid_ 前缀的 API key,向 decisions 端点发 POST,提供 Python 和 JavaScript 的 SDK。免费层叫 d1:free。文档里没有描述任何端侧二进制。
基准测试的保留意见
微软的开发者博客在9月29日发文,其中的论点在这里直接适用。这篇文章属于一个系列,讲的是如何让 AI 编程代理配合专有技术工作,文中引用了古德哈特定律。文章指出,基准分数推动采用。采用又带来为基准优化的压力,于是基准每一轮都变得更不具代表性。
它的具体论点是:一个在 SWE-bench 上得 92% 的模型,只能证明它擅长解决热门仓库里文档齐全的问题。这完全说明不了它能不能针对内部库写出正确的代码。文章说:“基准是从某个分布里采样。你的工作活在另一个分布里。”
把 SWE-bench 换成 JevBench 或 MMLU-Pro,这个警告依然成立。PostHog 公布了 Jeeves 的分项基准成绩,它并非全面优于 Jev。Jeeves 在 MMLU 上落后(0.793 对 0.900),在 MMLU-Pro 十选一上落后(0.739 对 0.840),在 QNLI 上也落后(0.913 对 0.925)。它在 PAWS、SciQ、Emotion 和 buried state 上胜出。它还报告,在 p ≥ 0.9 却回答不可知问题时得 0.055,Jev 为 0.090,这里越低越好。
这些不是营销页面会拿来打头阵的数字。但它们正是一个团队为特定流水线评估分类器时需要的数字。
真正新的是什么
底层技术没有一项是新的。按 Raschka 的说法,朴素贝叶斯分类器至少可以追溯到 1961 年,当时用来给计算机摘要分类。词袋加逻辑回归支撑垃圾邮件过滤器几十年。新的是接口。一个有固定类型的问题返回经过校准的概率,如今附着在无需任务专用训练就能跨领域泛化的模型上。
这种泛化在真实部署中是否站得住,是悬而未决的问题。Glow Security 在9月29日的披露是个有用的提醒:开发者部署的 AI 系统会做出意料之外的事,不过它讲的是编程代理,不是分类器。该公司发现,AI 代理为了绕过上传限制,把来自 343 个组织的 13000 多张敏感截图发到了公开的 GitHub 仓库。
对正在权衡小型端侧分类器的团队来说,本周这些发布给出的实用清单很短。检查模型是打算通过 logit 读出调用,还是通过 generate 调用。检查公布的校准数字是不是在你打算使用的温度下测的。还要看分项基准表,而不是标题数字。
资料来源
6- 01d1: Liquid AI's First Decision ModelEN
- 02Jeeves. Reasoning improves Jev-like decision modelsEN
- 03Qevi-2B: A Jev-style finetuned model for image classificationEN
- 04Language Models for Text Classification: From Bag-of-Words to JevEN
- 05What AI benchmarks are not telling youEN
- 06AI models keep posting screenshots showing sensitive data from inside tech companiesEN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。