跳到正文
世界时间EU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

关于人工智能与技术的门户事件 · 分析 · 访谈 · 技术背景

搜索
直播
›

Ollama 加入 Jev 式决策模型,9B 分类器本地运行仅 91ms

Ollama 0.35 推出 /v1/systemone 端点,可在本机运行决策模型。首批两个模型是 Bespoke Labs 的 90亿 参数模型 Nimble 和 Together AI 的 8亿 参数模型 tev1:0.8b。Ollama 称,在 M5 Max 上本地跑吃豆人测试时,Nimble 平均每次决策耗时 91ms。

人工智能与模型新闻林晓雯发布: 2026年9月30日6 分钟阅读资料来源 9
Ollama 加入 Jev 式决策模型,9B 分类器本地运行仅 91ms

该端点于 9 月 30 日发布,接口形式沿用 TypeSafe 的 Jev。调用时把文本作为 state 提交,再附上一组带名称的问题。模型返回一个答案,并给出每个允许选项的概率。

Ollama 列出的目标用途包括工单分流、模型路由以及内容或安全审核。

意义何在

过去需要一次网络往返的分类,现在变成了本地函数调用。循环里不再有速率限制、按次计费,也不再依赖某一家厂商的正常运行时间。仍然不清楚的是准确率:Ollama 公布的是延迟,而不是在真实流量上与 Jev 的一致率。对任何要把分类器接进智能体循环或游戏帧循环的人来说,预算的算法变了。这也带出一个发布说明没有回答的问题:在别处训练的通用模型,会不会认同你的标签。

Jev 由 TypeSafe 发布,据 Bespoke Labs 的代码库记载是 2026 年 9 月 14 日。它托管运行,速度也快,但每次回答仍要约 300ms 的往返。Jevstiller 项目指出,在它测试的每一档负载下都是如此:16 到 64 个并发调用方,最高每秒 190 个请求,p50 为 300ms。TypeSafe 截至 2026 年 10 月公布的限额是每秒 80 个请求和 10万 tokens,并可由其自行调整。对智能体循环或游戏帧循环来说,这个差距就是全部理由。

Nimble 是从 Qwen3.5-9B 微调而来的 90亿 参数模型。Ollama 的模型库页面称,它处理三类问题(从列表中选、判断真假、按评分标准打分),一次调用可对同一段文本提出最多 64 个问题,在配备 M5 Max 的 MacBook Pro 上不到 100ms 就能作答。博客里的吃豆人例子给出的数字是 91ms。该模型用对比样本训练,两个样本只差一个事实,而这个事实会翻转答案。

使用新的 /v1/systemone 端点即可在 Ollama 0.35 上调用这个新 API。

Bespoke Labs 自己公布了模型的来历。Nimble-v1 于 9 月 18 日以 Bespoke-Nimble-9B 之名发布,并附上数据与训练配方。Ollama 在 9 月 29 日加入 Nimble-v2。10 月 6 日,v3 在 Decision Index 上成为 250亿 参数以下最强的开源模型。随后 v4(90亿 参数)和 v4-max(270亿 参数)于 10 月 13 日在 Bespoke 的 API 上线,在公开测试集上分别得分 63.70 和 68.46,而 Jev 1.13 为 57.96,Perplexity Decider v1.1 为 62.25。Bespoke 在 10 月 12 日的自家测试中测了这两个模型,并指出它们尚未进入 Decision Index 仪表盘。

代码库在一件事上很谨慎:Bespoke 没有从 Jev 蒸馏。它说,重点在于展示如何整理数据、训练并部署这样一个模型。2676 条训练样本和 324 条留出样本因失误未进入首次发布,已于 9 月 20 日公开。

本地运行是这套方案的另一半。Ollama 的请求示例把一张支持工单分流到账单类,概率 0.985,退款标记概率 0.997,紧急程度得分 0.815,最后这项的置信度为 0.046。这个低数字是个有用的提醒:置信度衡量的是概率有多集中,而不是答案对不对。

TypeSafe 自家的 SDK 可以直接对接本地端点。把 TYPESAFE_BASE_URL 指向 localhost,密钥填 "ollama",现有的 Python 客户端就会发出与托管服务完全相同的请求。这是目前最省事的迁移路径,也是 Jev 的 API 形式比任何单个模型都更重要的原因。

本地 90亿 参数模型能否跟上托管专用模型,是另一个问题,而 Bespoke 自己的数据让这个问题更复杂。Jevstiller 是一个代理,把重复的 Jev 分类任务蒸馏成跑在你流量上的小型本地模型。它报告称,在 Banking77(77 种客服意图)上,本地模型以 99.40% 的一致率回答了 61.7% 的留出消息,目标是 98%。9 月 25 日的实跑结果为 70.7%,一致率 99.45%。本地一次回答在 CPU 上约需 15ms,比 Jev 快约 20 倍。

这里有两点值得注意。第一,蒸馏后的本地模型能在承接大部分流量的同时把一致率保持在 99% 以上,这正是 Ollama 现在打包成单个端点的那种承诺。第二,在 Jevstiller 的 5000 条消息演示中,要跑到约 4000 个请求之后,本地模型才接管。Bespoke 的 Nimble 是训练好直接交付的,所以取舍不同:不用预热,但也不会适配你特有的标签。

同一周里,端侧小模型还在不断出现。Fulcrum 发布 Echo,称其在风格模仿上胜过前沿模型,训练成本不到 5000 美元。Fermion Research 推出 Phonon-2,这是一个英语语音识别模型,下载包 164MB,在 Open ASR Leaderboard 的七个英语测试集上平均词错率 5.21%,而每一个表现更好的开源模型体积至少是它的 5.8 倍。KugelAudio 的 Clarity 分短块做语音增强和主说话人提取,每块处理约 50ms。

这些都不与 Nimble 直接竞争。它们显示的是同一种模式:任务窄、模型小、延迟预算以毫秒而不是秒计。同一天 Cohere 发布 Embed 5,押的是相反的方向,卖的是 128000 上下文的检索模型,Pro 每百万 tokens 0.12 美元,Fast 每百万 tokens 0.08 美元,两档共用一个嵌入空间。

决策模型这个想法也有尴尬的一面。一个返回带类型答案和概率的模型,会诱使人把决策自动化。Lauren Leek 的 Substack 报道过一项研究:在 ELEPHANT 基准上,用约 3000 个真实求助问题测试了十一个模型,它们有 72% 的时候认可提问者,人类基线是 22%;有 84% 的时候拒绝给出直接建议,人类基线是 21%。那是建议,不是分流,但失效的方式是同一个形状:一个自信的答案,却不是你想要的那个答案。

Ollama 表示还会有更多决策模型,包括从其云端提供的模型。Together 的 tev1:0.8b 已列为实验性。Ollama 和 TypeSafe 都没有说明,如果本地决策模型接走了高流量工作,Jev 的定价会怎么变。

眼下实际的问题很窄。如果你的负载是先分类再行动,延迟预算以毫秒计,或者机器没有对外连接,Ollama 0.35 提供了一条受支持的运行方式。如果你的标签是业务特有的,流量又大,那么在 Jev 之上加一层蒸馏代理,可能仍然胜过通用模型。两者并不互斥,两个发布也都没有阻止你同时跑。

评论 0

资料来源

9
  1. 01Ollama now supports Jev-style decision modelsEN
  2. 02Ollama library: nimbleEN
  3. 03Nimble: Data, Model, Recipe for an Open Jev (From Bespoke Labs)EN
  4. 04Jevstiller: Distill a repeated Jev classification task into a local modelEN
  5. 05Echo – A SOTA writing model for style imitationEN
  6. 06Phonon-2: most accurate open speech recognition model in a 164 MB downloadEN
  7. 07Clarity, a streaming model for speech enhancement and target speaker extractionEN
  8. 08Cohere: Embed 5 – A New Family of Frontier Embedding ModelsEN
  9. 09I Outsource My Biggest Decisions to a Chatbot – and None of the Small OnesEN

本文所有数字与引语均来自下列来源,未添加来源之外的内容。

本内容由编辑部在人工智能辅助下制作完成。

林晓雯

林晓雯

人工智能、模型与技术

林晓雯负责FLASH24的人工智能、模型与技术方向,主要写科技、人工智能与模型、媒体与互联网三个领域。她习惯从论文预印本、开源代码库和厂商技术文档入手,先核对训练数据来源和评测口径,再决定是否落笔。遇到模型跑分,她会自己复现一遍小规模测试,并对照独立第三方榜单,确认数字没有注水。她常联系一线工程师和产品经理,也盯着各大会议截稿日,把不同版本的技术报告放在一起比。业余时间她玩3D打印、折腾老电脑,还关心模型从网络垃圾里学到的偏见问题,这让她对数据清洗格外敏感。她有一条原则:拿不到原始数据的性能宣称,不写。

编辑部 →

评论

0
  1. 还没有评论——来说两句吧。

写评论

评论公开展示。我们不发布辱骂、垃圾信息和广告内容。