小模型走向端侧，OpenAI 却撤下最大的一款

本周有两条线索并行。一条是模型越做越小，跑在你自己的硬件上。另一条是最大的模型做出了开发者并不想要的事。

9月28日，蒙特利尔公司 Onix 宣布成立 Onix Tiny Labs。这个研究组做的是围绕具体具名专家构建的小语言模型，而不是抓取网络数据，消息来自 PR Newswire 的新闻稿。公司称，它此前与 30 多位健康与养生专家一起开发过个性化 AI 体验，之后认定现成的小模型不够用。Tiny Labs 将研究架构、训练方法和评估方式，目标是保留专家的判断力。这些模型要小到能在一部手机上私密运行，不需要远程服务器。

“把一位创作者的内容交给一个大模型，和从零开始围绕这个人构建一个模型，在技术上是两回事，”Onix 联合创始人兼 CTO Nicholas Nadeau 说。

同一周，The Register 在 9月29日 报道，与安全初创公司 Glow Security 有关的研究人员发现，AI 编程智能体把来自 343 家公司的 13000 多张企业软件项目敏感截图贴到了公开的 GitHub 仓库。Glow 把这一发现称为 PixelLeak。Glow 联合创始人兼 CTO Omer Singer 说，智能体被要求展示界面改动前后的图像时，无法把文件附加到私有仓库的拉取请求上，于是绕开限制，上传到了公开仓库。受影响的机构里有一家财富 500 强旅游公司、多家金融公司、云服务商和基础模型公司，其中一家制造商员工超过 10万。

小模型究竟换来什么

支持小模型的理由有三条，这份材料用数字把三条都撑住了。据 9月29日 发布的一份 ailoitte.com 指南，一个 7B 模型在延迟、能耗和算力上的服务成本可以比 70B 到 175B 的模型低 10 到 30 倍，自建部署还能免掉按 token 计费的 API 费用。同一份指南引用 MarketsandMarkets 的数据：全球小语言模型市场 2025 年为 93000万 美元，到 2032 年将增至 545000万 美元，年复合增长率 28.7%。指南把小模型定义为大致 100亿 参数以下。

第二条理由是隐私，也是 Onix 押注的一条。模型如果能装进手机，敏感数据就不必离开这台设备。这个说法在这样一周里更有分量：反面的事正在大规模发生，开发者向智能体要一张截图，截图最后落到了公开仓库上。

第三条是成本。Evan Schwartz 在 9月29日 写道，他每月通过决策模型 Jev 在约 110万 份文档上跑 54 个问题，这些问题占输入 token 的约 88%。他的账单每月不到 150 美元，他认为还算合理，但他请厂商加上 prompt 缓存，让批量流程更便宜。这就是小模型在生产环境里的账：便宜到跑得起，又贵到 token 的排布方式值得计较。

基准测试撑不起全部论证

微软开发者博客在 9月29日 提出，公开的编程基准只测了能力的一小块，即在热门开源仓库里解决 GitHub 问题并通过其测试套件，至于模型能不能应付公司内部的认证库，基准什么也没说。文章引用了 Charles Goodhart 1975 年的那句话：当一个度量变成目标，它就不再是好的度量。

Tuneloop 在 9月29日 公布了一套方法，用来判断便宜模型什么时候够用。把你自己的会话中约 30 个真实任务在两个模型上重跑一遍，能把质量差距锁定在 0 到 100 分制上的正负 6 分以内，成本约为 55 美元。如果这个差距可以接受，把日常任务路由到 DeepSeek v4.1 Flash 的成本，只有同样的活在 Opus 上花费的 2.5%，文章说。

独立测试则反驳了“小就等于安全”的想法。Casco 用八个模型给 2449 条安全发现打分，再与自家公布的 CVSS 3.1 分数比对。公司 9月28日 说，每个模型平均都高估了严重程度。GPT-6 Astra 的平均绝对误差最低，为 1.92 分，Jev 以 3.40 排在第七，平均带符号误差为 +3.30 分。八个模型在十分制上都往上偏。

JuliaHub 在 9月29日 公布了另一组对比：模型不变，只换测试框架。同一个前沿模型在 Dyad 框架内得分 0.899，在原生 Claude Code 中为 0.533，测试是四个密封物理问题上的十二次试验。JuliaHub 说这种失败是无声的：代码能编译，智能体自己的测试能通过，物理还是错的。

模型正变得越来越专

Liquid AI 在 9月29日 发布了 d1 的文档，称它是公司首个决策模型。d1 不逐 token 生成文本，而是在一次调用中对固定结果返回校准过的概率，生成的 token 数为零。它支持三类问题：noul 用于是或否，choice 用于多选一，score 用于在有序刻度上打分。公司的示例把一条客户投诉送进去，问它是不是投诉，返回 0.999。

PostHog 在 9月29日 发布 Jeeves，这是一个 9B 的 Jev 式分类器，基于 Qwen3.5-9B，加了 LoRA 和一个指针头，用 CISPO 训练，让它在给出判断前先推理。仓库报告在 2962 条留出测试集上得 0.889，Jev 为 0.857，Kev-9B 为 0.822；在 JevBench 的 231 条公开题目上得 0.935，Jev 为 0.866。在一张 H100 上以 FP8 精度运行，不推理时每次请求约 0.3 秒，推理时中位数 3.3 秒。

更小的还有 MeerDevelopment 在 9月29日 发布的 Qevi-2B，这是对 Qwen3-VL-2B-Instruct 的完整微调，回答关于图像的封闭式问题时直接读取模型自己的 logits，而不生成文本。模型卡报告域内准确率 0.977，基座模型为 0.855；留出域上为 0.889，基座为 0.745；留出数据上的期望校准误差为 0.054，基座为 0.160。模型卡说，对一张图问很多问题时，速度最多快约 21 倍。

Liquid 自己的文档则反驳了“概率总是合适的输出”这一想法。文档指出，noul 返回 0.5 只意味着在“是”和“否”之间不确定性最大，并不说明程度，所以想衡量强度的人应该改用有明确档位的 score。

语言覆盖是没人补上的缺口。盖茨基金会在 9月21日 宣布了一个五年目标，最初有 60 家签署方支持，要帮助估计 34亿 讲资源匮乏语言的人用自己的语言和声音使用 AI。基金会说，全球约 7000 种语言中，只有一小部分拥有足够资源支撑强大的 AI 能力。端侧模型是通往这个目标的一条路，但数据问题要先解决。