跳到正文
世界时间EU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

关于人工智能与技术的门户事件 · 分析 · 访谈 · 技术背景

搜索
直播
›

小模型不写字也能答题:决策模型走上端侧

9月29日,Liquid AI 公布了 d1 的文档。这是它的第一个决策模型,一次调用就返回校准过的概率,生成的 token 数为零。这类小型端侧分类器最近冒得很快,同类的还有 Jev、Qevi-2B 和 PostHog 的 Jeeves。

人工智能与模型解释王雅琴发布: 2026年9月29日5 分钟阅读资料来源 6
小模型不写字也能答题:决策模型走上端侧

卖点很窄,也很具体:一个不写字的模型。Liquid AI 9月29日发布的文档说,d1 读取一段状态,然后在一组固定的结果上给出概率。公司自己举的例子是:输入一条客户投诉,问「这条消息是不是投诉?」,它返回一个数,0.999。

Liquid 把这种格式叫决策模型,支持三类问题。文档写得很直白:「noul」是是/否题,返回 0 到 1 之间的概率;「choice」在若干具名选项上返回一个分布;「score」在一套有序评分标准上返回按概率加权的位置。API 响应里有个 output_tokens 字段,永远是零。

小模型为什么突然有意思了

这个角落里不止 Liquid 一家。Sebastian Raschka 9月29日写了一篇讲文本分类历史的文章,把近来的 Jev 模型先看成一个分类器,其次才看成一个文化现象。他的论点是:在窄任务上,Jev 并不比专门做的分类器更好,也不更便宜;但它比那些任务专用的模型通用得多,又比前沿大模型快得多、便宜得多。

正是这种组合让端侧这件事变得可信:通用性中等,单次调用成本极低。一个 20亿 或 90亿 的模型,返回的是概率而不是一段话,就能跑在前沿模型碰不了的硬件上。

9月29日上传到 Hugging Face 的 Qevi-2B 是图像这一侧的做法。它是对 Qwen3-VL-2B-Instruct 的完整微调,回答关于图像的封闭式问题时不生成文本,而是读取模型本该开始作答那个位置上的 logits。模型卡把取舍写得很直接:「它不是聊天模型。问它『这张图里有梯子吗?』,它返回 P(Yes) = 0.97,而不是一句话。」

模型卡给出的准确率是:域内 0.977,基座模型 0.855;留出域上 0.889,基座 0.745。留出数据上的期望校准误差从 0.160 降到 0.054。卡里还提醒了一句,给想在上面再叠温度缩放的人:当 T = 2.45 时,留出集的 ECE 又回到 0.160,增益全部抹平。

速度是这套说法的另一半。Qevi-2B 称,针对同一张图问很多问题时大约快 21 倍,因为三个示例问题共用一次编码,再用块对角注意力掩码把它们隔开。模型卡说,答案与逐个提问完全相同,并做了逐位验证。

「我们看到的头号风险因素,是合法的 AI 被开发者使用,然后做了不该做的事,」Glow Security 联合创始人兼 CTO Omer Singer 在接受 The Register 采访时说。

问题在于:帮忙的同时在泄露

这句话跟分类准确率关系不大,跟部署关系极大。The Register 9月29日报道,Glow Security 的研究人员发现,AI 代理把 13000 多张企业软件项目的敏感截图发到了公开的 GitHub 仓库里,涉及 343 家公司。他们把这叫做 PixelLeak。

机制很平常。GitHub 没有把图片上传到拉取请求的 API,于是被要求展示界面前后对比图的代理,就把图放进了公开仓库。约三分之一的泄露来自使用 gitshot 的开发者。这是一个开源截图工具,它自己的隐私声明就警告说,上传的图片默认是公开的。

这些都不是小模型造成的。但这正是小模型被推销时所处的环境:便宜到可以一直跑,嵌在开发者工具里,行动时没有人盯着。一个能跑在笔记本上的分类器,让这个循环更紧。

会推理,但只推一点

PostHog 的 Jeeves 9月29日发布在 GitHub 上,想在保留这种格式的前提下解决 Jev 一类模型的准确率问题。它是一个 90亿 参数的 Jev 风格分类器,基于 Qwen3.5-9B,加了 LoRA 和一个指针头,训练成先推理再判断,还配了一个 block-4 扩散草稿器。

仓库里的数字把它和 Kev-9B、Jev 放在从未训练过的数据上比:0.889 对 0.822 和 0.857。在 JevBench 的公开档位上,它报的是 0.935,Jev 为 0.866。代价是延迟。不思考时,一次请求约 0.3 秒;思考时,在一块 H100 上以 FP8 精度运行,中位数 3.3 秒。仓库指出,截断推理链可以缩短这个时间。

Jeeves 的表格还推翻了「推理总是有帮助」这个简单说法。在 MMLU-Pro 上它得 0.739,Jev 是 0.840;在 MMLU 上得 0.793,Jev 是 0.900。作者没有把这些平均掉,而是并排列出来。

微软的开发者博客 9月29日一篇讲 Agent Experience 的文章把这一点说成普遍情况。基准分数推动采用,采用推动针对基准的优化,分数就不再说明你自己的代码库。文章说:「一个在 Django 上很出色的模型,在你那个表面上像 Django、但在关键之处做法不同的内部框架上,可能只是平庸。」同样的道理适用于一个在公开档位上测过、然后被塞进你的工单队列的决策模型。

端侧是这些线索交汇的地方。Qevi-2B 列出 bf16 下 21 GB 的权重。Jeeves 说一台 Apple Silicon Mac 需要 48 GB 或更多内存来放默认缓存,不过 FP8 能把权重压到 11.5 GB,较小的缓存设置能塞进 48 GB 的机器。这不是手机,是笔记本。笔记本跟数据中心仍然是不同的部署目标,小模型这个标签在这里确实有实打实的含义。

这些发布都没有回答的是:分类这套框架,能不能扛住生产环境里那些乱糟糟的问题。0.97 很容易设阈值。一个校准没被测过的 score 类问题就没那么容易了,Qevi-2B 的模型卡对自己「score」类型说的正是这一点。

评论 0

资料来源

6
  1. 01d1: Liquid AI's First Decision ModelEN
  2. 02Qevi-2B: A Jev-style finetuned model for image classificationEN
  3. 03Jeeves. Reasoning improves Jev-like decision modelsEN
  4. 04AI models keep posting screenshots showing sensitive data from inside tech companiesEN
  5. 05Language Models for Text Classification: From Bag-of-Words to JevEN
  6. 06What AI benchmarks are not telling youEN

本文所有数字与引语均来自下列来源,未添加来源之外的内容。

本内容由编辑部在人工智能辅助下制作完成。

王雅琴

王雅琴

人工智能、模型与技术

王雅琴负责FLASH24的人工智能、模型与技术报道,覆盖科技、人工智能与模型、媒体与互联网领域。她习惯直接查阅技术文档、模型卡与官方博客,而非依赖新闻稿,对未经核实的参数和跑分数据一概不放行。每篇报道前,她会逐项核对基准测试结果,对照论文原文与开源代码,确认版本号、数据集和评测条件是否一致。她常联系开发者与研究人员求证细节,也盯着各大厂商的发布会和论文截稿日期,横向比较同类模型的实际表现。私下她自建服务、折腾家庭网络,这让她对部署成本和真实算力需求有直观判断。她的原则是:没有可复现来源的数字,不写进稿子。

编辑部 →

评论

0
  1. 还没有评论——来说两句吧。

写评论

评论公开展示。我们不发布辱骂、垃圾信息和广告内容。