跳到正文
世界时间EU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

关于人工智能与技术的门户事件 · 分析 · 访谈 · 技术背景

搜索
直播
›

小型决策模型走向端侧:Liquid AI 的 d1、Jev 类模型与 20 亿参数视觉分类器

Liquid AI 于 9 月 29 日发布了首个“决策模型”d1 的文档。这类小型端侧模型返回的是校准后的概率,而不是生成的文本,d1 只是这个快速扩张的家族中的一员。

人工智能与模型新闻王雅琴发布: 2026年9月29日5 分钟阅读资料来源 12
小型决策模型走向端侧:Liquid AI 的 d1、Jev 类模型与 20 亿参数视觉分类器

文档描述了三类问题。Noul 是是非题,返回 0 到 1 之间的概率;Choice 是从多个选项中选一个,返回各命名选项上的分布;Score 是按有序评分标准给出一个以概率加权的落点。示例调用把一条客户投诉发给名为 d1:free 的模型,对“这条消息是否来自客户的投诉?”这一问题返回 0.999。

这与聊天机器人是两种不同形态的模型。它不生成任何内容。Liquid 的文档称,决策模型“在一次调用中评估一个情境,针对一组固定的结果返回校准后的概率,生成的 token 数为零”,并且可以在一次请求中针对同一状态评估多个问题。

这类模型为何出现

同样的思路出现在资料集中最新的几份材料里。Sebastian Raschka 于 9 月 29 日发表了一篇长篇技术解读,从词袋模型一路讲到 RNN、CNN 和 transformer,再到他所说的“Jev 式 API”。他认为这类接口的吸引力在于成本和速度,而不是原始准确率。他写道,Jev 的优势是“能以快得多的速度和低得多的成本处理这些分类任务”,但同时提醒,对于定义明确的狭窄问题,专门定制的分类器在三项指标上仍然全面占优。

PostHog 的 Jeeves 代码库同样发布于 9 月 29 日,为这笔取舍给出了数字。Jeeves 是一个 90 亿参数的 Jev 类模型,基于 Qwen3.5-9B,加装 LoRA 和一个指针头,用 SFT 和 CISPO 训练,先推理再判断。仓库报告称,在自家留出的测试集上得分为 0.889,Jev 为 0.857,Kev-9B 为 0.822;在 JevBench 的公开层级上为 0.935,Jev 为 0.866。推理在单张 H100 上以 fp8 运行,不开启思考时每次请求约 0.3 秒,开启后中位数为 3.3 秒。它也能在 Apple Silicon 上以 bf16 或 FP8 运行,需要 48GB 以上内存。

运营个性化内容流 Scour 的 Evan Schwartz 于 9 月 29 日提出,希望这类 API 支持提示缓存。他的问题集现在有 54 个问题,其中 50 个 Noul、3 个 Choice、1 个 Score,合计约 2150 个 token,其中约 260 个 token 是固定开销。每月约 110 万份文档,每个请求都原样发送这些问题,它们占到他输入 token 的约 88%。他每月的账单不到 150 美元,但他表示,缓存能让批处理流程更便宜。

端侧那一头:一个 20 亿参数的视觉分类器

这批发布中最清晰的小模型是 Qevi-2B,9 月 29 日上传到 Hugging Face。它是对 Qwen3-VL-2B-Instruct 的完整微调,回答关于图像的封闭式问题,方式是读取模型自身的 logits,而不是生成文本。问它图中是否有梯子,它返回 P(Yes) = 0.97,而不是一句话。

模型卡报告称,域内准确率从基座模型的 0.855 升到 0.977,留出域准确率从 0.745 升到 0.889,留出数据上的期望校准误差从 0.160 降到 0.054。针对同一张图提出多个问题时,推理速度最高约快 21 倍。模型卡明确要求,必须通过 logit 读取使用该模型,而不能用 .generate();三种支持的问题类型可以共用一次图像编码,通过块对角注意力掩码相互隔离,其答案与分别提问的结果逐位一致。

资料集中有一项评测给这股热情泼了冷水。安全公司 Casco 用 8 个模型处理了 2449 条发现,其中包括 Jev、Claude 和 GPT,并把它们的 CVSS 3.1 评分与自家公布的评分作对比。所有模型的平均分都高于参考值。Jev 给一个包含 55 条已公布严重级发现的集合打出了 550 个严重级评分,其中 500 个在 Casco 的参考标准里低于严重级。按平均绝对误差排名,GPT-6 Astra 以 1.92 分居首,Jev 以 3.40 分排在第七。Casco 的文章日期为 9 月 28 日。

同在 9 月 29 日这一批里,小模型的主题还出现在不那么显眼的地方。一个 9 月 24 日以 space-bunny-alpha 之名在 OpenRouter 上架的免费预览模型声称支持百万 token 上下文,并按自家网站的说法,在相同基准上使用的输出 token 约为 Qwen3.8 Flash 的三分之一,305989 对 913989。Simple AI 推出了 Tango,这是一个用于判断话轮结束的音频原生模型,声称比传统语音活动检测器发现停顿平均早 300 毫秒做出判断;在公开的 LiveKit 基准上,400 次中漏判 15 次话轮结束,Soniox 为 54 次,Deepgram Flux 为 197 次。这些是厂商在公开基准上自行运行的对比,并非独立审计。

同一时间窗口内还有两个发布指向同一方向:Jeb 是一个 GitHub 项目,能把任何兼容 OpenAI 的 API 变成决策模型;DesktopBrain 是一个面向 Mac 的端侧文件整理工具。在现有材料中,两者都没有公布基准数字。

模式是一致的。过去 72 小时里有意思的小模型不是迷你聊天机器人。它们狭窄、经过校准、运行成本低,被放在前沿模型显得荒唐的地方:一部手机、一台笔记本、一个 20 亿参数的视觉编码器、一个每月不到 150 美元就能回答 54 个问题的分类器。它们对所指派的工作是否足够准确是另一个问题,而 Casco 的结果表明,答案并不总是肯定的。

评论 0

资料来源

12
  1. 01d1: Liquid AI's First Decision ModelEN
  2. 02Qevi-2B: A Jev-style finetuned model for image classificationEN
  3. 03Language Models for Text Classification: From Bag-of-Words to JevEN
  4. 04Jeeves. Reasoning improves Jev-like decision modelsEN
  5. 05Every model (incl. Jev) we tested inflates security finding severityEN
  6. 06Please add prompt caching to Jev-style modelsEN
  7. 07Space-bunny-alpha a reasoning model from an anonymous providerEN
  8. 08Tango: Simple AI's Conversational Awareness ModelEN
  9. 09Jeb: Turn any OpenAI API into a decision modelEN
  10. 10DesktopBrain - AI File Organizer for Mac and All Folders - Private On-Device AIEN
  11. 11Language Models Act on Hidden ValenceEN
  12. 12Needed 1+1, built a functional programming languageEN

本文所有数字与引语均来自下列来源,未添加来源之外的内容。

本内容由编辑部在人工智能辅助下制作完成。

王雅琴

王雅琴

人工智能、模型与技术

王雅琴负责FLASH24的人工智能、模型与技术报道,覆盖科技、人工智能与模型、媒体与互联网领域。她习惯直接查阅技术文档、模型卡与官方博客,而非依赖新闻稿,对未经核实的参数和跑分数据一概不放行。每篇报道前,她会逐项核对基准测试结果,对照论文原文与开源代码,确认版本号、数据集和评测条件是否一致。她常联系开发者与研究人员求证细节,也盯着各大厂商的发布会和论文截稿日期,横向比较同类模型的实际表现。私下她自建服务、折腾家庭网络,这让她对部署成本和真实算力需求有直观判断。她的原则是:没有可复现来源的数字,不写进稿子。

编辑部 →

评论

0
  1. 还没有评论——来说两句吧。

写评论

评论公开展示。我们不发布辱骂、垃圾信息和广告内容。