跳到正文
世界时间EU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

关于人工智能与技术的门户事件 · 分析 · 访谈 · 技术背景

搜索
直播
›

决策模型放弃文本生成,小型端侧AI转向logit读数

9月29日发布的两个模型指向同一个思路:小模型应当返回校准后的概率,而不是生成token。Liquid AI的d1和基于Qwen3-VL-2B微调的Qevi-2B都采用了这种方式。

人工智能与模型分析林晓雯发布: 2026年9月29日4 分钟阅读资料来源 6
决策模型放弃文本生成,小型端侧AI转向logit读数

两个模型在周二相隔六分钟先后上线。Liquid AI于20:09 UTC发布d1的文档,称其为首个决策模型。MeerDevelopment于20:16 UTC把Qevi-2B推上Hugging Face。两者都不生成文本。

Liquid AI的文档把机制说得很直白。文档称,决策模型“评估一个情境,在一次调用中针对一组固定结果返回校准后的概率,生成的token数为零”。API提供三种问题形式:noul(是/否,返回一个浮点数)、choice(从命名选项中选一个)和score(在有序评分标尺上给出概率加权的位置)。文档的示例中,字符串“I have been waiting over three weeks for my order and nobody has responded to my emails”对问题“Is this message a complaint from the customer?”返回的noul为0.999。响应还把usage.output_tokens报告为0。

读logit,跳过句子

Qevi-2B走的是另一条路,终点相同。它是对Qwen3-VL-2B-Instruct的完整微调。面对关于图像的封闭式问题,它读取模型即将开始回答那个位置上的LM-head logit,并且只限定在允许的答案token上。问它照片里有没有梯子,它返回P(Yes) = 0.97。模型卡提醒,调用.generate()再解析文本无法复现公布的数字,“因为那不是模型微调时走的路径”。

它宣称的提升幅度很大,也很具体。基础版Qwen3-VL-2B走完全相同的读数路径。与之相比,Qevi-2B的域内准确率为0.977,基础版为0.855;留出域上为0.889,基础版为0.745。留出数据上的期望校准误差从0.160降到0.054。模型卡还报告,针对一张图提出多个问题时,推理速度约快21倍,因为问题打包共用同一次图像编码。

有一处限制值得细读。训练语料只覆盖noul和choice两类问题,因此score类型未经测试。模型卡还明确撤回了此前的温度建议。在T = 2.45时,留出集上的ECE回到0.160,校准带来的全部收益被抹平。

小、快,直指分类

这就是端侧论证目前的样子。Ailoitte在过去12小时内发布的小模型开发指南从成本角度切入。指南称,部署一个70亿参数模型的“延迟、能耗和算力成本可以比1750亿到1750亿参数的模型低10到30倍”,并引用了一份2025年的NVIDIA立场文件。指南还指出,小模型可以本地部署,这对医疗和金融数据很重要。

Sebastian Raschka在9月29日关于文本分类的文章从另一个方向讲了同一件事。他把Jev描述为本质上是一个文本分类器。他写道,Jev在过去两周于技术社区里“引发了一场相当的文化现象”。在分类任务上,它比通用大语言模型更快更便宜,却又比任务专用模型更通用。他特意说明,自己与Jev没有隶属关系,也没有免费使用权。

PostHog的jeeves仓库在9月29日更新,给这套模式加上了推理。Jeeves是一个类似Jev的90亿参数模型,基于Qwen3.5-9B,使用LoRA和一个pointer head,以SFT和CISPO训练。它报告在留出测试集上总体得分为0.889,Jev为0.857,Kev-9B为0.822。在JevBench的公开层级上它报告0.935,Jev为0.866。思考要花时间:在单张H100上以fp8运行,每个请求中位数约3.3秒,不开启思考则为0.3秒。

这些数字并非一边倒。Jeeves总体胜过Jev,但在Transfer上落后(0.746对0.800),在MMLU-Pro十选一上落后(0.739对0.840)。它还会以p ≥ 0.9回答5.5%的不可知问题。这好于Jev的9.0%,但差于Kev-9B的0.0%。

这一品类的市场预测差异很大,值得标出来,而不是取平均值。MarketsandMarkets认为SLM市场2025年为93000万美元,到2032年升至545000万美元,复合年增长率28.7%。wizr.ai引用的是2023年776000万美元、2024年至2030年增长15.6%的数字。这两个估算描述的是规模不同的市场。

9月29日的这两个发布指向的东西更窄也更具体。对于分类形态的工作,输出格式本身正在围绕概率重新设计,而不是围绕散文。

评论 0

资料来源

6
  1. 01d1: Liquid AI's First Decision ModelEN
  2. 02Qevi-2B: A Jev-style finetuned model for image classificationEN
  3. 03Jeeves. Reasoning improves Jev-like decision modelsEN
  4. 04Language Models for Text Classification: From Bag-of-Words to JevEN
  5. 05Small Language Model Development: Lower Cost, More PrivacyEN
  6. 06The Rise of Small Language Models in Enterprise AI Adoption [2026]EN

本文所有数字与引语均来自下列来源,未添加来源之外的内容。

本内容由编辑部在人工智能辅助下制作完成。

林晓雯

林晓雯

人工智能、模型与技术

林晓雯负责FLASH24的人工智能、模型与技术方向,主要写科技、人工智能与模型、媒体与互联网三个领域。她习惯从论文预印本、开源代码库和厂商技术文档入手,先核对训练数据来源和评测口径,再决定是否落笔。遇到模型跑分,她会自己复现一遍小规模测试,并对照独立第三方榜单,确认数字没有注水。她常联系一线工程师和产品经理,也盯着各大会议截稿日,把不同版本的技术报告放在一起比。业余时间她玩3D打印、折腾老电脑,还关心模型从网络垃圾里学到的偏见问题,这让她对数据清洗格外敏感。她有一条原则:拿不到原始数据的性能宣称,不写。

编辑部 →

评论

0
  1. 还没有评论——来说两句吧。

写评论

评论公开展示。我们不发布辱骂、垃圾信息和广告内容。