小模型不写字也能答题:决策模型走上端侧
9月29日,Liquid AI 公布了 d1 的文档。这是它的第一个决策模型,一次调用就返回校准过的概率,生成的 token 数为零。这类小型端侧分类器最近冒得很快,同类的还有 Jev、Qevi-2B 和 PostHog 的 Jeeves。

卖点很窄,也很具体:一个不写字的模型。Liquid AI 9月29日发布的文档说,d1 读取一段状态,然后在一组固定的结果上给出概率。公司自己举的例子是:输入一条客户投诉,问「这条消息是不是投诉?」,它返回一个数,0.999。
Liquid 把这种格式叫决策模型,支持三类问题。文档写得很直白:「noul」是是/否题,返回 0 到 1 之间的概率;「choice」在若干具名选项上返回一个分布;「score」在一套有序评分标准上返回按概率加权的位置。API 响应里有个 output_tokens 字段,永远是零。
小模型为什么突然有意思了
这个角落里不止 Liquid 一家。Sebastian Raschka 9月29日写了一篇讲文本分类历史的文章,把近来的 Jev 模型先看成一个分类器,其次才看成一个文化现象。他的论点是:在窄任务上,Jev 并不比专门做的分类器更好,也不更便宜;但它比那些任务专用的模型通用得多,又比前沿大模型快得多、便宜得多。
正是这种组合让端侧这件事变得可信:通用性中等,单次调用成本极低。一个 20亿 或 90亿 的模型,返回的是概率而不是一段话,就能跑在前沿模型碰不了的硬件上。
9月29日上传到 Hugging Face 的 Qevi-2B 是图像这一侧的做法。它是对 Qwen3-VL-2B-Instruct 的完整微调,回答关于图像的封闭式问题时不生成文本,而是读取模型本该开始作答那个位置上的 logits。模型卡把取舍写得很直接:「它不是聊天模型。问它『这张图里有梯子吗?』,它返回 P(Yes) = 0.97,而不是一句话。」
模型卡给出的准确率是:域内 0.977,基座模型 0.855;留出域上 0.889,基座 0.745。留出数据上的期望校准误差从 0.160 降到 0.054。卡里还提醒了一句,给想在上面再叠温度缩放的人:当 T = 2.45 时,留出集的 ECE 又回到 0.160,增益全部抹平。
速度是这套说法的另一半。Qevi-2B 称,针对同一张图问很多问题时大约快 21 倍,因为三个示例问题共用一次编码,再用块对角注意力掩码把它们隔开。模型卡说,答案与逐个提问完全相同,并做了逐位验证。
「我们看到的头号风险因素,是合法的 AI 被开发者使用,然后做了不该做的事,」Glow Security 联合创始人兼 CTO Omer Singer 在接受 The Register 采访时说。
问题在于:帮忙的同时在泄露
这句话跟分类准确率关系不大,跟部署关系极大。The Register 9月29日报道,Glow Security 的研究人员发现,AI 代理把 13000 多张企业软件项目的敏感截图发到了公开的 GitHub 仓库里,涉及 343 家公司。他们把这叫做 PixelLeak。
机制很平常。GitHub 没有把图片上传到拉取请求的 API,于是被要求展示界面前后对比图的代理,就把图放进了公开仓库。约三分之一的泄露来自使用 gitshot 的开发者。这是一个开源截图工具,它自己的隐私声明就警告说,上传的图片默认是公开的。
这些都不是小模型造成的。但这正是小模型被推销时所处的环境:便宜到可以一直跑,嵌在开发者工具里,行动时没有人盯着。一个能跑在笔记本上的分类器,让这个循环更紧。
会推理,但只推一点
PostHog 的 Jeeves 9月29日发布在 GitHub 上,想在保留这种格式的前提下解决 Jev 一类模型的准确率问题。它是一个 90亿 参数的 Jev 风格分类器,基于 Qwen3.5-9B,加了 LoRA 和一个指针头,训练成先推理再判断,还配了一个 block-4 扩散草稿器。
仓库里的数字把它和 Kev-9B、Jev 放在从未训练过的数据上比:0.889 对 0.822 和 0.857。在 JevBench 的公开档位上,它报的是 0.935,Jev 为 0.866。代价是延迟。不思考时,一次请求约 0.3 秒;思考时,在一块 H100 上以 FP8 精度运行,中位数 3.3 秒。仓库指出,截断推理链可以缩短这个时间。
Jeeves 的表格还推翻了「推理总是有帮助」这个简单说法。在 MMLU-Pro 上它得 0.739,Jev 是 0.840;在 MMLU 上得 0.793,Jev 是 0.900。作者没有把这些平均掉,而是并排列出来。
微软的开发者博客 9月29日一篇讲 Agent Experience 的文章把这一点说成普遍情况。基准分数推动采用,采用推动针对基准的优化,分数就不再说明你自己的代码库。文章说:「一个在 Django 上很出色的模型,在你那个表面上像 Django、但在关键之处做法不同的内部框架上,可能只是平庸。」同样的道理适用于一个在公开档位上测过、然后被塞进你的工单队列的决策模型。
端侧是这些线索交汇的地方。Qevi-2B 列出 bf16 下 21 GB 的权重。Jeeves 说一台 Apple Silicon Mac 需要 48 GB 或更多内存来放默认缓存,不过 FP8 能把权重压到 11.5 GB,较小的缓存设置能塞进 48 GB 的机器。这不是手机,是笔记本。笔记本跟数据中心仍然是不同的部署目标,小模型这个标签在这里确实有实打实的含义。
这些发布都没有回答的是:分类这套框架,能不能扛住生产环境里那些乱糟糟的问题。0.97 很容易设阈值。一个校准没被测过的 score 类问题就没那么容易了,Qevi-2B 的模型卡对自己「score」类型说的正是这一点。
资料来源
6- 01d1: Liquid AI's First Decision ModelEN
- 02Qevi-2B: A Jev-style finetuned model for image classificationEN
- 03Jeeves. Reasoning improves Jev-like decision modelsEN
- 04AI models keep posting screenshots showing sensitive data from inside tech companiesEN
- 05Language Models for Text Classification: From Bag-of-Words to JevEN
- 06What AI benchmarks are not telling youEN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。