跳到正文
世界时间EU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

关于人工智能与技术的门户事件 · 分析 · 访谈 · 技术背景

搜索
直播
›

Qevi-2B 与 d1 把 Jev 式决策模型搬到端侧,专攻封闭式问题

周二,一个 20 亿参数的图像分类模型出现在 Hugging Face 上。发布方称,它回答关于照片的封闭式问题,速度最高可达其微调所基于的基础模型的 21 倍。Jev 式决策模型格式正从文本走向其他领域,这是最新的一个信号。

人工智能与模型新闻林晓雯发布: 2026年9月29日5 分钟阅读资料来源 6
Qevi-2B 与 d1 把 Jev 式决策模型搬到端侧,专攻封闭式问题

9 月 29 日发布的 Qevi-2B 模型卡写的是对 Qwen3-VL-2B-Instruct 做的一次完整微调,模型从不生成任何句子。问它图里有没有梯子,它返回 P(Yes) = 0.97。这个数字直接读自语言模型头的 logits,位置正是基础模型本该开始作答的地方。模型卡明确指出,调用 .generate() 再解析文本,无法复现报告中的数字,因为模型并不是沿这条路径微调的。

所声称的提升落在准确率和校准上,不在原始能力上。

在同一批图像上,用完全相同的读取路径跑基础模型 Qwen3-VL-2B-Instruct:Qevi-2B 的域内得分是 0.977,基础模型是 0.855;在 12 个留出图像域上,Qevi-2B 是 0.889,基础模型是 0.745。留出数据上的期望校准误差从 0.160 降到 0.054。

一次前向,多个问题

速度上的说法来自问题打包。随附的 qevi 引擎让多个问题共用一次图像编码,再用块对角注意力掩码把它们隔开。模型卡称,这样得到的答案与逐个提问完全相同,并做过按位验证。仓库同时提醒,score 这一题型(在一套评分标准上的有序打分)从未出现在训练语料里。语料包含 57000 道 noul(是/否)题和 28500 道 choice 题。score 的准确率和校准被描述为未测量、未测试。

这套题型词汇并非 Qevi 首创。Liquid AI 在 9 月 29 日更新的决策模型文档定义了同样的三种形式:noul 给出 0 到 1 之间的一个是/否概率,choice 给出在若干具名选项上的分布,score 给出有序标尺上以概率加权的某个位置。文档明确写道,决策模型生成的 token 数为零。一个投诉分类的示例请求返回 noul: 0.999,同时 output_tokens: 0。

Liquid 对何时使用哪种类型的说明值得原样引用,因为它正好对应端侧部署的思路。文档写道:「如果你的代码按类别分支,用 Choice;如果它对照某个连续量上的阈值,用 Score;如果它按布尔值做门控,用 Noul。」一个返回已校准浮点数的分类器,在移动应用里比一个答案还得解析的生成模型更容易设定阈值。

推理版本走的是相反方向

并非所有人都在朝更少参数、更少思考的方向走。PostHog 的 Jeeves 仓库 9 月 29 日发布在 GitHub 上。它拿一个 90 亿参数的 Jev 类模型(Qwen3.5-9B 加 LoRA 和一个指针头),用 CISPO 训练它先思考再决策。README 报告在留出测试集上是 0.889,Jev 是 0.857,Kev-9B 是 0.822;在 JevBench 的公开层级上是 0.935,Jev 是 0.866。

代价是延迟。

在单张 H100、FP8 精度下,Jeeves 不思考时每个请求约 0.3 秒,带思考时中位数 3.3 秒。README 还指出,同一个检查点在不思考时于作者的测试集上得 0.804,带思考时得 0.840。在 M4 Pro 上,一个问题思考时大约每秒 20 个 token,FP8 下约 38 个。权重在 bf16 下占 21 GB,量化后占 11.5 GB。README 称这需要一台 48 GB 的 Mac,并把缓存调小,才能避免换页。

这与 Qevi-2B 的部署目标完全不同。两个项目在同一种底层格式上朝相反方向用力。

格式从哪来

Sebastian Raschka 在 9 月 29 日的科普文章里梳理了这条谱系:从词袋表示和朴素贝叶斯,经循环网络和卷积网络,到 transformer 时代的分类器。他认为 Jev 处在一个尴尬的中间位置。他写道,最先进的大模型能完成同样的分类任务,同时还能做更通用的决策,但 Jev 处理得更快、更便宜。在窄的一端,一个专门构建的分类器在定义明确的问题上能与它打平。Raschka 声明自己与 Jev 没有关联,也没有获得免费使用权限。

他的历史梳理还给炒作提供了一次有用的现实校正。用朴素贝叶斯做文本分类至少可以追溯到 1961 年,当时被用来给计算机摘要分类。Raschka 还提到,Gmail 最初的垃圾邮件过滤器据称用的就是基于词袋表示的朴素贝叶斯模型。在固定位置读取 logits 是较新的工程选择,不是关于分类是什么的新想法。

校准才是该盯住的指标

对端侧使用来说,Qevi-2B 模型卡里有意思的数字不是准确率,而是那张校准表。作者报告说,在微调之上再做温度缩放会让校准变差,因为训练时的标签平滑已经去掉了基础模型的过度自信。ECE 在 T = 1.0 时是 0.054,T = 1.5 时是 0.051,到 T = 2.45 又回到 0.160,基本就是基础模型的留出数据数值。模型卡更早的版本曾推荐 2.45,那是在微调前针对基础模型拟合出来的。现在的模型卡说这些数值不应再使用。

有两点需要注意。

Qevi-2B 和 Jeeves 都只公布自己测出的数字。Jeeves 的 README 里 Jev 和 Kev 两栏被说明为 Kev 公布的数值,且限于相同的公开基准题项,密封评审层级被排除在外。这些数字中任何一个的独立复现都不在材料里。

此外还有一场仍在进行的争论:基准分数到底意味着什么。微软开发者博客 9 月 29 日的一篇文章引用了古德哈特定律,「当一个度量变成目标,它就不再是一个好的度量」,并指出公开基准任务与训练语料之间存在数据重叠。文章认为,一个在 SWE-bench 上得 92% 的模型,「并不能说明同一个模型在你内部的鉴权库上会不会写出正确的代码」。同样的怀疑也适用于 JevBench 的各层级。

不过方向已经足够清楚。一个从 logits 返回阈值化概率的 20 亿参数视觉模型,一个先推理再分类的 90 亿参数文本模型,一个输出 token 计费为零的托管 API,是同一个判断的三种实现:许多生产环境里的决策根本不需要生成出来的文字。

评论 0

资料来源

6
  1. 01Qevi-2B: A Jev-style finetuned model for image classificationEN
  2. 02d1: Liquid AI's First Decision ModelEN
  3. 03Jeeves. Reasoning improves Jev-like decision modelsEN
  4. 04Language Models for Text Classification: From Bag-of-Words to JevEN
  5. 05What AI benchmarks are not telling youEN
  6. 06AI models keep posting screenshots showing sensitive data from inside tech companiesEN

本文所有数字与引语均来自下列来源,未添加来源之外的内容。

本内容由编辑部在人工智能辅助下制作完成。

林晓雯

林晓雯

人工智能、模型与技术

林晓雯负责FLASH24的人工智能、模型与技术方向,主要写科技、人工智能与模型、媒体与互联网三个领域。她习惯从论文预印本、开源代码库和厂商技术文档入手,先核对训练数据来源和评测口径,再决定是否落笔。遇到模型跑分,她会自己复现一遍小规模测试,并对照独立第三方榜单,确认数字没有注水。她常联系一线工程师和产品经理,也盯着各大会议截稿日,把不同版本的技术报告放在一起比。业余时间她玩3D打印、折腾老电脑,还关心模型从网络垃圾里学到的偏见问题,这让她对数据清洗格外敏感。她有一条原则:拿不到原始数据的性能宣称,不写。

编辑部 →

评论

0
  1. 还没有评论——来说两句吧。

写评论

评论公开展示。我们不发布辱骂、垃圾信息和广告内容。