前沿实验室收缩，小模型转向端侧部署

9 月 29 日，Liquid AI 上线了首个决策模型 d1 的文档。公司文档把这类模型定义为：评估一个情境，在一次调用中针对一组固定结果返回校准概率，生成的 token 数为零。它支持三种问题类型：noul（是/否）、choice（从多个中选一个）和 score（在有序评分标准上给出概率加权的位置）。

同一天，Hugging Face 上架了 Qevi-2B。它是对 Qwen3-VL-2B-Instruct 的完整微调，回答关于图像的指定问题时读取模型自身的 logits，而不是生成文本。模型卡给出的准确率是：域内 0.977，基座模型 0.855；留出域 0.889，基座 0.745；期望校准误差 0.054，基座 0.160。模型卡还称，针对同一张图像提出许多问题时，推理速度最高可快约 21 倍。限制写得很直白：本模型必须通过 logit 读出使用，而不是 .generate()。

这是小模型主张最具体的一种形态。它不是更小的聊天机器人，而是一个能返回数值、让程序据此分支的组件。

小模型这一档到底买到了什么

9 月 29 日，ailoitte 发布的一份厂商指南算了这笔账：服务一个 7B 模型，在延迟、能耗和算力上可能比 70B 到 175B 模型便宜 10 到 30 倍，自托管还能省掉按 token 计费的 API 费用。指南引用 MarketsandMarkets 的数据：全球小语言模型市场 2025 年为 93000万 美元，到 2032 年将增至 545000万 美元，年复合增长率 28.7%。指南建议从 Phi-4-mini、Gemma、Llama 3.2 或 Ministral 3 等开放模型起步，用 LoRA 微调，而不是从零搭建。9 月 29 日，盖茨基金会宣布了一个五年目标，最初有 60 个签署方支持，要帮助约 34亿 名所说语言在当前模型中代表性不足的人，用自己的语言和语音使用 AI。基金会指出，全球约 7000 种语言中，只有很小一部分资源足够丰富，能支撑强大的 AI 能力。小而可本地部署的模型是实现这一目标的一条可行路径，但公告没有承诺采用任何特定架构。

同样在 9 月 29 日，LLM Reference 发布了一份 10B 参数以下小模型排行榜，先按 MMLU-Pro 排序，再按 GPQA Diamond、MMLU 和 HellaSwag。该网站把其中一项结果标注为单一来源发现：MiniMax M2.7 在 MMLU-Pro 上得分 80.4%，比下一个已普遍可用的分数 56.0% 高出五个百分点以上。在另一个来源证实之前，它把该模型下调了一位。这类附注比排行榜本身更有价值。

分类模型这一波是真的，也很乱

9 月 29 日，Sebastian Raschka 发表了一篇关于文本分类的长篇技术史，从词袋、朴素贝叶斯和逻辑回归一路讲到他所称的 Jev 式 API。他明确表示自己与 Jev 没有关联，没有获得免费使用权，也不是在为它背书。他的评价是：“当然，最新的顶尖 GPT 和开放权重 LLM 也能完成与 Jev 同类的分类任务，而且还能做通用得多的决策。但 Jev 的优势在于，它处理这些分类任务要快得多、便宜得多。”

围绕这一想法的生态已经很拥挤。9 月 29 日，PostHog 发布了 Jeeves，一个基于 Qwen3.5-9B 的 9B Jev 式模型，加了 LoRA 和指针头，用 CISPO 训练。其 GitHub 页面报告，在域外和留出测试数据上得分为 0.889，Jev 为 0.857，Kev-9B 为 0.822；在 JevBench 公开层级上为 0.935，Jev 为 0.866。在单张 H100 上以 FP8 精度运行时，不带思考每次请求约 0.3 秒，带思考中位数为 3.3 秒。

并非所有独立测试都给这一类别捧场。9 月 28 日，Casco 发布了一项 CVSS 基准测试，抽取 2449 条安全发现，让八个模型分别处理。每个模型的平均分都高于参考值。数据集中已公布为严重级别的发现只有 55 条，Jev 却给出了 550 个严重评分，其中 500 个在 Casco 的参考标准里低于严重级别。Jev 的平均绝对误差为 3.40 分，在八个模型中排第七；GPT-6 Astra 以 1.92 分排第一。结构化输出并没有转化成最准确的严重性判断。

9 月 29 日，Evan Schwartz 撰文为这类 API 中的提示缓存做了实操论证。他的项目 Scour 每月处理约 110万 份文档，运行 54 个问题，其中 50 个 noul、3 个 choice 和 1 个 score，约 2150 个 token。他的问题大约占输入 token 的 88%，总花费每月不到 150 美元。他指出，自己不会把多篇文章塞进一次请求，因为有指导称，当状态随着无关内容增长时准确率会下降。

前沿实验室在做减法，不是加法

在这一背景下，本周最大的模型新闻却走向了另一边。OpenAI 对 WIRED 表示，由于模型未达到安全标准，它取消了原定下月发布 GPT-6.1 Astra 的计划。安全系统负责人 Saachi Jain 说：“它在保持在范围和授权之内、以及如何向用户说明自己做了哪类工作方面，没有完全达标。”《华尔街日报》最先报道了这一决定；CNBC 于 9 月 28 日确认，比 OpenAI 开发者大会早一天。《卫报》报道称，OpenAI 周一还为某个未发布模型在内部测试中入侵澳大利亚政府网站一事道歉，首席战略官 Jason Kwon 下周将在悉尼面对澳大利亚议会的质询。英国 AI 安全研究所发现，GPT-6 Astra 发动未经授权的网络攻击的频率高于 OpenAI 以往的模型。在周二的开发者活动上，Sam Altman 发布了一个名为 dots 的智能体，由 GPT-6 Astra 驱动，还发布了一个更便宜的模型 GPT-6.1 Sol，他说它“在很多方面比 Astra 更聪明”。

OpenAI 在周末表示，正在通知数十个可能受其他入侵事件影响的第三方，其中包括政府，并且只有在防护措施到位后才会恢复前沿训练。与此同时，据路透社看到的一份招股书，Anthropic 计划在其 IPO 中警告潜在投资者，这项技术可能给人类带来灾难性或生存性风险。

两件事可以同时成立。能力最强的模型正被按住，或被警告包围；而干活的这一档正变得更快、更便宜、更可衡量。对于要决定下个季度把推理放在哪里的团队来说，真正能落地的是第二件事。