小型决策模型走向端侧:Liquid AI 的 d1、Jev 类模型与 20 亿参数视觉分类器
Liquid AI 于 9 月 29 日发布了首个“决策模型”d1 的文档。这类小型端侧模型返回的是校准后的概率,而不是生成的文本,d1 只是这个快速扩张的家族中的一员。

文档描述了三类问题。Noul 是是非题,返回 0 到 1 之间的概率;Choice 是从多个选项中选一个,返回各命名选项上的分布;Score 是按有序评分标准给出一个以概率加权的落点。示例调用把一条客户投诉发给名为 d1:free 的模型,对“这条消息是否来自客户的投诉?”这一问题返回 0.999。
这与聊天机器人是两种不同形态的模型。它不生成任何内容。Liquid 的文档称,决策模型“在一次调用中评估一个情境,针对一组固定的结果返回校准后的概率,生成的 token 数为零”,并且可以在一次请求中针对同一状态评估多个问题。
这类模型为何出现
同样的思路出现在资料集中最新的几份材料里。Sebastian Raschka 于 9 月 29 日发表了一篇长篇技术解读,从词袋模型一路讲到 RNN、CNN 和 transformer,再到他所说的“Jev 式 API”。他认为这类接口的吸引力在于成本和速度,而不是原始准确率。他写道,Jev 的优势是“能以快得多的速度和低得多的成本处理这些分类任务”,但同时提醒,对于定义明确的狭窄问题,专门定制的分类器在三项指标上仍然全面占优。
PostHog 的 Jeeves 代码库同样发布于 9 月 29 日,为这笔取舍给出了数字。Jeeves 是一个 90 亿参数的 Jev 类模型,基于 Qwen3.5-9B,加装 LoRA 和一个指针头,用 SFT 和 CISPO 训练,先推理再判断。仓库报告称,在自家留出的测试集上得分为 0.889,Jev 为 0.857,Kev-9B 为 0.822;在 JevBench 的公开层级上为 0.935,Jev 为 0.866。推理在单张 H100 上以 fp8 运行,不开启思考时每次请求约 0.3 秒,开启后中位数为 3.3 秒。它也能在 Apple Silicon 上以 bf16 或 FP8 运行,需要 48GB 以上内存。
运营个性化内容流 Scour 的 Evan Schwartz 于 9 月 29 日提出,希望这类 API 支持提示缓存。他的问题集现在有 54 个问题,其中 50 个 Noul、3 个 Choice、1 个 Score,合计约 2150 个 token,其中约 260 个 token 是固定开销。每月约 110 万份文档,每个请求都原样发送这些问题,它们占到他输入 token 的约 88%。他每月的账单不到 150 美元,但他表示,缓存能让批处理流程更便宜。
端侧那一头:一个 20 亿参数的视觉分类器
这批发布中最清晰的小模型是 Qevi-2B,9 月 29 日上传到 Hugging Face。它是对 Qwen3-VL-2B-Instruct 的完整微调,回答关于图像的封闭式问题,方式是读取模型自身的 logits,而不是生成文本。问它图中是否有梯子,它返回 P(Yes) = 0.97,而不是一句话。
模型卡报告称,域内准确率从基座模型的 0.855 升到 0.977,留出域准确率从 0.745 升到 0.889,留出数据上的期望校准误差从 0.160 降到 0.054。针对同一张图提出多个问题时,推理速度最高约快 21 倍。模型卡明确要求,必须通过 logit 读取使用该模型,而不能用 .generate();三种支持的问题类型可以共用一次图像编码,通过块对角注意力掩码相互隔离,其答案与分别提问的结果逐位一致。
资料集中有一项评测给这股热情泼了冷水。安全公司 Casco 用 8 个模型处理了 2449 条发现,其中包括 Jev、Claude 和 GPT,并把它们的 CVSS 3.1 评分与自家公布的评分作对比。所有模型的平均分都高于参考值。Jev 给一个包含 55 条已公布严重级发现的集合打出了 550 个严重级评分,其中 500 个在 Casco 的参考标准里低于严重级。按平均绝对误差排名,GPT-6 Astra 以 1.92 分居首,Jev 以 3.40 分排在第七。Casco 的文章日期为 9 月 28 日。
同在 9 月 29 日这一批里,小模型的主题还出现在不那么显眼的地方。一个 9 月 24 日以 space-bunny-alpha 之名在 OpenRouter 上架的免费预览模型声称支持百万 token 上下文,并按自家网站的说法,在相同基准上使用的输出 token 约为 Qwen3.8 Flash 的三分之一,305989 对 913989。Simple AI 推出了 Tango,这是一个用于判断话轮结束的音频原生模型,声称比传统语音活动检测器发现停顿平均早 300 毫秒做出判断;在公开的 LiveKit 基准上,400 次中漏判 15 次话轮结束,Soniox 为 54 次,Deepgram Flux 为 197 次。这些是厂商在公开基准上自行运行的对比,并非独立审计。
同一时间窗口内还有两个发布指向同一方向:Jeb 是一个 GitHub 项目,能把任何兼容 OpenAI 的 API 变成决策模型;DesktopBrain 是一个面向 Mac 的端侧文件整理工具。在现有材料中,两者都没有公布基准数字。
模式是一致的。过去 72 小时里有意思的小模型不是迷你聊天机器人。它们狭窄、经过校准、运行成本低,被放在前沿模型显得荒唐的地方:一部手机、一台笔记本、一个 20 亿参数的视觉编码器、一个每月不到 150 美元就能回答 54 个问题的分类器。它们对所指派的工作是否足够准确是另一个问题,而 Casco 的结果表明,答案并不总是肯定的。
资料来源
12- 01d1: Liquid AI's First Decision ModelEN
- 02Qevi-2B: A Jev-style finetuned model for image classificationEN
- 03Language Models for Text Classification: From Bag-of-Words to JevEN
- 04Jeeves. Reasoning improves Jev-like decision modelsEN
- 05Every model (incl. Jev) we tested inflates security finding severityEN
- 06Please add prompt caching to Jev-style modelsEN
- 07Space-bunny-alpha a reasoning model from an anonymous providerEN
- 08Tango: Simple AI's Conversational Awareness ModelEN
- 09Jeb: Turn any OpenAI API into a decision modelEN
- 10DesktopBrain - AI File Organizer for Mac and All Folders - Private On-Device AIEN
- 11Language Models Act on Hidden ValenceEN
- 12Needed 1+1, built a functional programming languageEN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。