决策模型走向小型化:Qevi-2B、Liquid d1 和 Jeeves 把分类推向端侧
9月29日,一个20亿参数的视觉模型被发布到 Hugging Face。它不生成文本,而是读取自身的 logits 来回答是非题。发布方称其域内准确率为 0.977;对同一张图片提出多个问题时,推理速度最高可提升至 21 倍。

模型名为 Qevi-2B,是对 Qwen3-VL-2B-Instruct 的完整微调。作者称它“不是聊天模型”:问一张照片里有没有梯子,它返回的是 P(Yes) = 0.97,而不是一句话。模型卡给出的域内准确率为 0.977,基础模型为 0.855。留出域的得分为 0.889,基础模型为 0.745;留出数据上的期望校准误差为 0.054,基础模型为 0.160。速度优势来自问题打包:多个问题共用一次图像编码,通过块对角注意力掩码彼此隔离,并已逐位验证与分开提问的结果一致。
这只是这个诞生两周的分类里的一个产物。该分类如今已有 SDK、基准测试、一个对标的基准套件,以及至少一个开源克隆。据 Casco 称,TypeSafe 于 9月15日 发布 Jev,该模型在“四十八小时内”就成了网络梗。
Liquid 给这些原语起了名字
Liquid AI 于 9月29日 发布了 d1 的文档,称其为自家首个决策模型。文档罕见地直白说明了这类系统的用途。决策模型不逐个生成 token。它评估一个状态,然后在一次调用中返回固定结果集上的校准概率,“零生成 token”。
Liquid 定义了三种已成为事实接口的问题类型。Noul 是是非题,返回 0 到 1 之间的概率;文档中的例子是垃圾邮件检测返回 0.92。Choice 返回命名选项上的分布,例如工单路由给出 {"billing": 0.65, "technical": 0.30, "account": 0.05}。Score 返回有序评分表上的概率加权位置。因此“这件事有多紧急?”在三个等级上可能返回 1.85,介于中和高之间。Liquid 的建议是按代码下一步做什么来选类型:要按类别分支就用 Choice,要与阈值比较就用 Score,要按布尔值做门控就用 Noul。
公司还提醒一种常见的混淆。文档指出,noul 为 0.5 意味着在是与否之间最大程度的不确定,“不说明程度或强度”。要测量程度,需要用带明确等级的 Score。
Jeeves:叠加推理,以及 3.3 秒的账单
对这类模型最有趣的反驳来自 PostHog,它于 9月29日 发布了 Jeeves。这是一个类似 Jev 的 90亿参数模型,基于 Qwen3.5-9B,配有 LoRA 和指针头,用 SFT 和 CISPO 训练,因此会先推理再决策。仓库直言它要纠正的取舍。“类似 Jev 的模型给出校准的决策概率,但准确率低,”README 写道,这正是许多流水线已经退回到推理模型的原因。
Jeeves 在一个包含 2962 条、既有留出又有域外的测试集上报 0.889,Jev 为 0.857,Kev-9B 为 0.822。需要说明的是,Kev 和 Jev 两列数字由 Kev 发布。在 JevBench 的 231 道公开题上,它报 0.935,Jev 为 0.866;在 111 道难题层上,为 0.865 对 0.730。它在 JevBench 公开题上的校准误差为 0.037。同一检查点在不思考时得 0.804,思考时得 0.840。
然后是成本。PostHog 在一张 H100 上以 FP8 精度测得,不思考时每个请求约 0.3 秒,思考时中位数为 3.3 秒。它指出截断思维链可以缩短这个时间。推理也能在 48GB 及以上的 Apple Silicon 上运行,如果小型决策模型的意义在于把工作留在本地,这一点很重要。
Jeeves 表格中的基础模型数字并非全部可比:仓库给它的 Kev-9B JevBench 数字标了星号。注释说明没有发布任何 Kev-9B 的 JevBench 结果,表中显示的是 Qwen3 上的 Kev-8B 数字。
到底谁在为分类器付费
最清晰的生产论据来自 Evan Schwartz,他运营个性化内容流 Scour。在 9月29日 的一篇文章中,他描述每月对约 110万 份文档提出 54 个问题:50 个 noul、3 个 choice 和 1 个 score。这大约是 2150 个 token,其中约 260 个 token 是固定开销。他的问题现在约占输入 token 的 88%,每次请求都原样发送。他的总支出每月不到 150 美元。他说,即使把同样的内容交给最便宜的 LLM,对一个自筹资金的项目来说也负担不起。
他的诉求很具体:提示缓存,或者能够注册可复用的题集。
他指出自己没有把多篇帖子打包进一个请求。他引用文档中的警告:随着状态中混入无关内容,准确率会下降。他建议提供一种接收多个问题和多个输入的 API,作为避免打包惩罚的替代方案。其他人已经在填补 TypeSafe 周围的空白。一个名为 Jeb 的 GitHub 项目于 9月29日 更新,能把任何兼容 OpenAI 的端点变成决策模型。它读取 token logprobs,在 POST /v1/systemone 返回结构化 JSON,命令行使用相同的请求格式。它的 README 坦率说明了前提:一个端点可以在普通聊天上兼容 OpenAI,却缺少 Jeb 所需的 log 概率,所以在选择服务商前要确认这项能力。
基准测试的问题来得早
安全公司 Casco 把 2449 条发现交给包括 Jev、Claude 和 GPT 在内的八个模型。它把 CVSS 3.1 严重性评分与自家发布的参考值比较。每个模型平均都高估了。Jev 给一个只含 55 条已发布严重发现的数据集打了 550 个严重分,其中 500 个在 Casco 的参考中低于严重。GPT-6 Astra 总体最准,平均绝对误差为 1.92 分;Jev 以 3.40 排第七,领先于 3.94 的 Haiku。
带符号的误差都指向同一方向:在十分制上,Jev +3.30 分,Haiku +3.89,Astra +1.18。Casco 的结论是,结构化、校准的输出并没有让严重性判断相对其参考更准确。它说由此产生的“安全垃圾”浪费工程师的时间。研究对每个模型使用相同的发现证据,不含 Casco 的评分策略或内部应用背景,因此测的是判断本身,而不是算术。
还有一个没人回答的维护问题。Jeeves 是在 Qwen3.5-9B 上的微调,配有扩散起草器和兼容 Jev 的 API;Qevi-2B 是 Qwen3-VL-2B 的微调。两者都依赖终将被取代的基础模型。这个分类的卖点是无需重新训练就能添加问题。这对 API 层面成立,对权重则不成立。
9月29日,Sebastian Raschka 发表了一篇关于文本分类的长篇技术史。它从词袋讲到 RNN、CNN 和 transformer,再到他所说的类 Jev API,明确目的是“给炒作祛魅”。他的结论最不激动人心,可能也最有用。对于一个狭窄、定义明确的问题,Jev 式模型在准确率、速度或成本上都不会胜过专用分类器。它的卖点是在分类这个位置上的通用性,这比外界的反应所暗示的要小得多。
资料来源
12- 01Qevi-2B: A Jev-style finetuned model for image classificationEN
- 02d1: Liquid AI's First Decision ModelEN
- 03Jeeves. Reasoning improves Jev-like decision modelsEN
- 04Please add prompt caching to Jev-style modelsEN
- 05Jeb: Turn any OpenAI API into a decision modelEN
- 06Every model (incl. Jev) we tested inflates security finding severityEN
- 07Language Models for Text Classification: From Bag-of-Words to JevEN
- 08The System One models ecosystemEN
- 09AI models keep posting screenshots showing sensitive data from inside companiesEN
- 10AI Models Fail at Physics: Coding Harnesses Are to BlameEN
- 11How many tasks does it take to trust a cheaper model?EN
- 12Gates Foundation 5 Year Goal: Help 3B People to Use AI in Their LanguageEN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。