Liquid AI、PostHog 与 Qevi 同周发布小型决策模型,把分类器搬到本地设备
9月29日,Liquid AI 为其首个决策模型 d1 发布文档。同一天,PostHog 推出 90亿参数的 Jeeves 分类器,Hugging Face 上也出现了 20亿参数图像分类器 Qevi-2B 的模型卡。

9月29日,三个小型、面向具体任务的模型在几小时内接连出现。三者思路一致:不做文本生成,直接从模型里读出概率,跑在自己能控制的硬件上。
Liquid AI 的文档页把 d1 称为“为结构化决策专门打造的一类新模型”。页面写道,决策模型不逐个生成 token,而是“在一次调用中评估局面,针对一组固定结果返回经过校准的概率,生成的 token 数为零”。公司给出的示例响应里,一条投诉检测查询的 usage.output_tokens 为 0,返回的 noul 值为 0.999。
三种提问方式,不生成文本
Liquid 把决策问题分成三类。noul 是是非题,返回 0 到 1 之间的概率,文档称之为“滑动刻度上的布尔值”。choice 返回各命名选项上的分布,例如 {"billing": 0.65, "technical": 0.30, "account": 0.05}。score 返回在有序评分表上的概率加权位置,所以一个三档紧急程度的问题可能返回 1.85,落在“中”和“高”之间。
文档明确指出,noul 和 score 不能互换。noul 为 0.5 意味着在“是”与“否”之间最不确定,“不说明程度或强度”。代码要在连续尺度上与阈值比较,文档指向 score;只是用布尔值做开关,就用 noul。API 接收一个状态加上一个或多个具名问题,一次调用全部作答。客户端库有 Python 版(typesafe-sdk)和 JavaScript 版(@typesafe-ai/sdk),密钥以 liquid_ 开头。
Liquid 的页面是文档,不是基准测试论文,因此没有给出 d1 的准确率数字。这一点很关键:同一周出现的另外两个模型公布了数据,两者之间的差距很说明问题。
Jeeves 在 Jev 公式上加了一层推理
PostHog 在 GitHub 上为 Jeeves 建了仓库,称其为“带扩散起草器的推理型 Jev 式分类器,用 SFT 和 CISPO 训练”。它基于 Qwen3.5-9B,参数量 90亿,加了 LoRA 和一个指针头,另有一个块大小为 4 的扩散起草器,训练代码和数据一并公开。仓库称,在从未训练过的测试数据上,它以 0.889 胜过 Kev-9B 的 0.822 和 Jev 的 0.857;在 JevBench 的公开层级上为 0.935,Jev 为 0.866。
仓库公布了更完整的表格,结果并非处处好看。在涵盖 MMLU-Pro 和埋藏状态的迁移任务上,Jeeves 得 0.746,低于 Jev 的 0.800。MMLU 上降到 0.793,Jev 为 0.900;MMLU-Pro 十选一上降到 0.739,Jev 为 0.840。它在 PAWS 上取胜(0.875 对 0.788),在留出规则结构上为 1.000 对 0.885,在对比策略上为 1.000 对 0.963。对不可知问题给出 0.9 及以上概率的频率低于 Jev,为 0.055 对 0.090,这一项越低越好。
仓库还指出,同一个检查点在不思考时,在 2962 条测试集上得 0.804,思考时为 0.840。代价是延迟:在一块 H100 上以 fp8 精度运行,不思考每次请求约 0.3 秒,思考时中位数为 3.3 秒。在 M4 Pro 上,一个问题大约以每秒 20 个 token 的速度思考。权重在 bf16 下占 21 GB,默认缓存再加 28 GB,因此 README 建议在 48 GB 的 Mac 上使用更小的缓存设置。
表格本身印了一条说明:没有公布 Kev-9B 的 JevBench 结果,而两行带星号的是 Qwen3 上的 Kev-8B,所以部分对比的对象与列标题所写并不一致。
Qevi-2B 把同样的招数用到图像上
Hugging Face 上的 Qevi-2B 模型卡介绍的是对 Qwen3-VL-2B-Instruct 的完整微调,通过“读取模型自身的 logits 而不生成文本”来回答关于图像的、有类型的封闭问题。问一张图里有没有梯子,它返回 P(Yes) = 0.977,而不是一句话。模型卡直言它不是聊天模型,并警告说调用 .generate() 再解析文本无法复现公布的数字,因为模型并不是在这条路径上微调的。
读取部分约 30 行普通 transformers 代码,不需要 trust_remote_code。与经过完全相同读取路径的基座 Qwen3-VL-2B-Instruct 相比,Qevi-2B 的域内准确率从 0.855 升到 0.977,在 12 个留出域上从 0.745 升到 0.889。留出数据上的期望校准误差从 0.160 降到 0.054。模型卡称,对一张图问很多问题时速度优势可达约 21 倍,因为块对角注意力掩码让多个问题共用一次图像编码,并已逐位验证与分别提问的结果一致。
模型卡还警告不要使用早期版本推荐的温度缩放:在 T = 2.45 时留出集 ECE 为 0.160,基本等于基座模型的数值,“全部校准收益都被抵消了”。
还有第二处坦白的说明。训练语料只包含 noul 和 choice 两类问题。引擎支持 score,基座模型也能零样本处理这类问题,但微调从未见过,因此模型卡写明 score 的准确率和校准度未做测量,应视为未经测试。
本地部署这条线为何反复出现
Sebastian Raschka 在 9月29日 关于文本分类历史的文章在这里很有用,因为它点明了这些模型实际放弃了什么。他指出,最新的 GPT 和开放权重模型能完成与 Jev 相同的分类任务,同时通用性高得多,而 Jev 式模型的优势在于速度和成本。在另一端,“对于一个狭窄、定义明确的问题,Jev 大概不会比专用分类器分得更好、更快或更便宜”。卖点在于中间地带:比任务专用模型更通用,比前沿模型更便宜。
Raschka 的文章把谱系追溯到以词袋表示喂给朴素贝叶斯、逻辑回归、SVM 和 XGBoost 的年代,并提到 Gmail 的垃圾邮件过滤器据说是基于词袋的朴素贝叶斯模型。如今的不同之处在于,分类器是带校准概率头的微调语言模型,可以作为权重文件发布,而不必作为服务调用。
本地部署的论点正是在这里成立。Jeeves 可在 CUDA 上以 bf16 或 fp8 运行,也能通过 MPS 在 Apple Silicon 上跑。fp8 版本把权重压到 11.5 GB,在 M4 Pro 上把思考吞吐从每秒约 20 个 token 提到约 31 个。仓库称在开发问题上准确率和 NLL 没有可测的变化,并发布了预量化的 PostHog/jeeves-fp8 仓库,下载体积约为一半。
Qevi-2B 更小,参数为 20亿,这种体量适合笔记本或手机,而不是机架。Liquid 的文档说该模型在一次调用中评估状态和问题,输出 token 为零,正是这一点让每次请求的成本可预测。
测量数据仍然单薄
这些都不没有问题。最近的相关研究是 Cameron Berg 和 Caspar Kaiser 在 9月28日 提交到 arXiv 的论文。他们发现,在来自五个家族的七个开放权重模型中,隐藏的效价相关激活模式会可预测地左右后续选择,即便所有可见 token 完全相同。作者写道,这些痕迹是否伴随任何与模型福利相关的主观体验,“仍不清楚”。这提醒人们,读取模型内部状态如今是一种设计模式,而不只是诊断手段。
实际层面的反对意见来自微软 9月29日 发布的开发者博客,文章认为公开基准对你的实际工作负载说明不了什么。文章引用古德哈特定律,并指出 SWE-bench 的任务来自公开仓库,与训练数据重叠不可避免,且每一代都在增加。文章说,一个在 SWE-bench 上拿到 92% 的模型,只能证明它擅长解决热门仓库中记录完备的问题,这对你的内部库毫无意义。
同样的逻辑适用于决策模型。Jeeves 自己的表格显示它在 MMLU 和 MMLU-Pro 上输给 Jev,却在留出规则结构上取胜,这意味着“哪个更好”完全取决于你的工单、图像或文档来自哪个分布。Liquid 完全没有公布 d1 的准确率数字。Qevi-2B 的模型卡把 score 列为未测试。现有的数字大多由发布模型的团队自行报告,用的还是他们自己选的分割。
本周的新意不在于小型分类器存在,而在于三个团队用同一个接口思路把它们做了出来:在一次前向传播中给出固定答案集上的校准概率,并且小到不需要数据中心就能运行。这是否足以取代 Jeeves README 描述的那种“前沿模型加兜底”的模式,公开的基准还回答不了。
资料来源
6- 01d1: Liquid AI's First Decision ModelEN
- 02Jeeves. Reasoning improves Jev-like decision modelsEN
- 03Qevi-2B: A Jev-style finetuned model for image classificationEN
- 04Language Models for Text Classification: From Bag-of-Words to JevEN
- 05Language Models Act on Hidden ValenceEN
- 06What AI benchmarks are not telling youEN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。