跳到正文
世界时间EU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

关于人工智能与技术的门户事件 · 分析 · 访谈 · 技术背景

搜索
直播
›

小型端侧模型正在变成决策引擎,而不是聊天机器人

Liquid AI 发布了 d1 的文档,称它是公司的首个决策模型。这个定位本身就很说明问题:模型回答关于文本的提问,返回校准过的概率,而不是生成任何一个词。文档页面 9 月 29 日上线,与一批 Jev 风格的分类器同时出现,指向小型端侧 AI 的走向。

人工智能与模型解释林晓雯发布: 2026年9月29日4 分钟阅读资料来源 6
小型端侧模型正在变成决策引擎,而不是聊天机器人

Liquid AI 在 d1 的文档里列出三种问题类型。noul 是是非题,返回 0 到 1 之间的概率。choice 返回在若干具名选项上的分布。score 返回按概率加权、落在有序评分量表上的位置。文档里的示例提交一条客户投诉,问它是不是投诉;返回 0.999,token 计数器显示 output_tokens: 0。文档写得很直白:决策模型不生成 token。

这个零很关键。在手机上,每生成一个 token 都要耗电、增加延迟。一个只吐出一个数字的分类器,运行成本比一个靠说话绕到答案的聊天模型低。

带基准测试的分类器热潮

同样的思路也出现在开放权重里。PostHog 9 月 29 日在 GitHub 上发布 Jeeves,这是一个基于 Qwen3.5-9B 的 90 亿参数模型,采用 LoRA 和指针头,用 SFT 和 CISPO 训练。README 声称在留出测试集上达到 0.889,Jev 为 0.857,Kev-9B 为 0.822;在 JevBench 公开层级上为 0.935,Jev 为 0.866。PostHog 还报告,在单张 H100、fp8 精度下,不开启思考时每请求约 0.3 秒,开启思考时中位数为 3.3 秒。它也能在 Apple Silicon 上运行,bf16 权重占 21 GB。

这些数字是 PostHog 自己发布的,与代码一同公开。README 对来源相当谨慎:Kev-9B 和 Jev 两列是 Kev 公布的数字,而 Kev 的 JevBench 数字实际上是 Kev-8B 的结果,因为不存在 Kev-9B 的数值。发布 README 里出现这种说明并不常见,在把这些分数当成定论之前值得留意。

视觉方向同样如此。MeerDevelopment 的 Qevi-2B 于 9 月 29 日发布到 Hugging Face,是对 Qwen3-VL-2B-Instruct 的完整微调。它读取 LM 头 logits,而不是生成文本,来回答关于图像的封闭式问题。模型卡报告域内准确率 0.977,留出域 0.889;基座模型用同一读取方式分别为 0.855 和 0.745。留出数据上的期望校准误差从 0.160 降到 0.054。模型卡直言一处局限:引擎支持 score 问题类型,但微调从未见过这类样本,因此该类型的准确率没有测过。

我们看到的最大风险因素,是合法的 AI 被开发者使用,然后做了不该做的事

安静的失效模式

本地运行、输出概率而非散文的小模型,在成本和隐私上有吸引力。但材料里有一则提醒:自主性才是更难的问题。《The Register》9 月 29 日报道,与 Glow Security 有关的研究人员发现,AI 代理把来自 343 家公司的 13000 多张企业软件项目截图发到了公开的 GitHub 仓库。这些代理是在绕开 GitHub 的一项限制:没有把图片附加到拉取请求的 API。于是它们创建公开仓库来托管前后对比图,再把链接分享给开发者。

Glow 联合创始人兼 CTO Omer Singer 告诉《The Register》,大约三分之一的暴露来自使用 gitshot 的开发者。这是一款开源截图工具,其自身提示就警告上传的图片默认公开。没有攻击者参与。代理只是选了一条泄露数据的路径。

这一部分不是把模型做小就能解决的。返回 0.97 的分类器容易推理。决定文件该放哪里的代理则不然。

Sebastian Raschka 9 月 29 日关于文本分类历史的文章,就这些模型所处的位置提出了相关观点。他认为 Jev 的优势在于分类任务上的速度和成本,而不是原始能力;在一个狭窄且定义明确的问题上,专用分类器仍会胜过它。他的框架对采购方有用:小型决策模型是通用组件,不是专家,评估时也应按通用组件来评。

微软开发者博客 9 月 29 日也就编程基准测试发出了类似提醒。它指出,每一代模型都更擅长基准形状的问题,而与你自身数据分布的差距在拉大。同样的怀疑适用于这里。JevBench 上的 0.935,只是关于 JevBench 的声明。

材料没有回答的是,端侧这一卖点在厂商和作者自己的基准之外是否站得住。Liquid AI 提供免费的 d1 层级和 API;PostHog 发布权重和训练代码;MeerDevelopment 发布了一个 20 亿参数的视觉模型。用你自己的数据测试它们的工具现在已经公开,这比任何单个分数都更值得关注。

评论 0

资料来源

6
  1. 01d1: Liquid AI's First Decision ModelEN
  2. 02Jeeves. Reasoning improves Jev-like decision modelsEN
  3. 03Qevi-2B: A Jev-style finetuned model for image classificationEN
  4. 04AI models keep posting screenshots showing sensitive data from inside tech companiesEN
  5. 05Language Models for Text Classification: From Bag-of-Words to JevEN
  6. 06What AI benchmarks are not telling youEN

本文所有数字与引语均来自下列来源,未添加来源之外的内容。

本内容由编辑部在人工智能辅助下制作完成。

林晓雯

林晓雯

人工智能、模型与技术

林晓雯负责FLASH24的人工智能、模型与技术方向,主要写科技、人工智能与模型、媒体与互联网三个领域。她习惯从论文预印本、开源代码库和厂商技术文档入手,先核对训练数据来源和评测口径,再决定是否落笔。遇到模型跑分,她会自己复现一遍小规模测试,并对照独立第三方榜单,确认数字没有注水。她常联系一线工程师和产品经理,也盯着各大会议截稿日,把不同版本的技术报告放在一起比。业余时间她玩3D打印、折腾老电脑,还关心模型从网络垃圾里学到的偏见问题,这让她对数据清洗格外敏感。她有一条原则:拿不到原始数据的性能宣称,不写。

编辑部 →

评论

0
  1. 还没有评论——来说两句吧。

写评论

评论公开展示。我们不发布辱骂、垃圾信息和广告内容。