Aleph Alpha 发布 Kolibri,llama.cpp 加入决策模型,小模型走向本地运行
Aleph Alpha 于 10 月 3 日发布 Kolibri,这是一个开放权重的英德双语模型,总参数 780亿,激活参数仅 30亿,以 Apache 2.0 协议提供下载。同一天,llama.cpp 加入了对决策模型的支持,这类模型一次前向计算就能回答一个查询。

Aleph Alpha 在 10 月 3 日发布 Kolibri,这天是德国统一日。公司把这次发布说成是主权问题,而不是规模问题。按它的说法,Kolibri 是一个英德双语混合专家 Transformer,总参数 780亿,激活参数 30亿,支持的上下文长度最高 100万 token。完整权重放在 Hugging Face 上,采用 Apache 2.0 协议。
卖点是部署成本。Aleph Alpha 称,在英文和德文上,这个模型都处在质量与推理成本对比的帕累托前沿上,并且能比肩激活参数最多达到它四倍的模型,点名的对手是 Nemotron 3 Super。公司表示客户可以在本地部署,不必把内部数据发给第三方推理服务。这对受监管行业的买家有用。公告里列出的目标市场是公共管理、工业制造和航空航天。Aleph Alpha 说它针对德语、推理、数学和智能体行为对 Kolibri 做了专门优化。它没有公布的是独立基准测试。文中引用的比较都来自公司自己的内部评测,帕累托前沿的说法还没有第三方确认。
目前没有任何外部实验室验证过其中任何一项。
llama.cpp 把决策模型变成一个服务端接口
同样在 10 月 3 日,ggml-org 团队在 Hugging Face 上发了一篇帖子,介绍 llama.cpp 新增的 /v1/systemone 接口。你提交一个状态(文本、JSON 或一张截图),再加上带类型的问题,模型在一次前向计算中返回每个选项的概率。帖子说这套 API 沿用 TypeSafe 的 Jev 模型引入的 System One 格式,所以现有客户端只需要换一个新的 base URL。
模型列表让本地运行这一点变得具体。Julia-1 在一块 NVIDIA RTX PRO 6000 上 3 毫秒给出答案。Laya 是 5 毫秒。Kev-4B 和 lev 都是 40亿 参数的模型,分别是 12 毫秒和 36 毫秒。OpenJev 是 270亿 参数,能处理图像;Clef 也是 270亿 参数,在 Apache 2.0 下运行。这些速度是在那块卡上单个问题的中位数,笔记本上的数字会更慢。
决策模型改变了小模型的工作方式。它们不生成文本,而是给你给出的选项打分:给请求做路由、审核内容、检查智能体的某一步是否成功,或者挑选下一个动作。整个过程不产生输出 token,所以延迟数字是毫秒而不是秒。
社区的 Decision Index 展示了它们的对比。
帖子让读者去看这个索引来做跨模型比较,并说还有更多决策模型在路上。接口支持三种问题类型:choice、score 和 noul,后者是一个是/否问题,返回答案为是的概率。输入还可以包含图像,供 OpenJev 这类有视觉能力的模型使用。
护栏模型也在变小
ZeroLeaks 在 10 月 2 日发布 Shield Small,这是一个 11800万 参数的分类器,用于检测提示注入和越狱。它在 CPU 上本地运行,int8 ONNX 权重为 118 MB,模型下载后推理可以离线完成。模型卡建议在智能体读取之前用它筛查不可信文本:检索到的文档、工具返回结果、网页、消息和工具描述。
公布的数字附带一个作者自己说明的前提。Shield Small 加上 rules v2 在 35 个公开数据集上取得 84.3% 的平均类别均衡准确率、71.8% 的攻击召回率和 7.2% 的误报率。模型卡说这些对比数据参与了开发过程,并不是一次未见过的评测。它同时提醒,模型可能漏掉攻击,也可能把无害文本标出来,尤其是引用攻击内容的安全讨论。
部署前还有第二个限制值得读一读。超过 6206 个 token 的输入会被截断,示例脚本从开头取 28 个窗口、从结尾取 4 个,返回 coverage.truncated: true。模型卡说,被截断且未标记的结果不能当作整份文档已经过关。分数也不是攻击会成功的校准概率。
消费端产品已经在出货
Underdog 是这股趋势里最面向消费者的一版。这家公司卖的是一款运行在 Apple 芯片 Mac 上的个人助手,Windows 版还在测试,并称数据不会离开这台机器。它的模型是 Woof 4B 和 Underdog 27B。网站声称 Underdog 27B 在 Artificial Analysis 智能指数上超过了 Claude Opus 4.6 Max,这个说法来自厂商,引用了一个第三方指数,却没有公布具体分数。
安全方面的材料更容易核查。Underdog 说它通过了 Leviathan Security Group 执行的 App Defense Alliance 评估的全部 20 项要求。它说 Google 批准它读取 Gmail 和日历,Hacktron AI 完成了对 Mac 应用和网站的渗透测试。名单上还写着 Jane Manchun Wong 正在拆解 Mac 应用,这项审计还在进行,并未完成。
与此同时,Google 在收紧 Gemini 的免费档。10 月 3 日更新的一篇支持页面说,对没有订阅 AI 服务的用户,改动从 10 月 9 日开始,届时 Auto 成为默认选项,大多数提示会交给最快的模型 Flash-Lite。如果关闭智能模型选择,所有对话都用 Flash-Lite。付费档的限制更高:AI Plus 是标准的两倍,AI Pro 是四倍,AI Ultra 是五倍或 AI Pro 的 20 倍。
把这两件事放在一起看,方向正好相反。Google 把免费用户推向它最小的云端模型,并按每五小时的计算量计量。Aleph Alpha 和 llama.cpp 的贡献者则把权重交到用户手里。两者谁也替代不了谁:Kolibri 需要一块 GPU 和一个运维人员,Flash-Lite 只需要一个浏览器。
还缺什么
缺口是独立评测。Aleph Alpha 的帕累托说法、Underdog 的指数说法和 Shield 的准确率数字,全都建立在厂商自己的或自选的测试集上。llama.cpp 的帖子给出的是一块数据中心显卡上的延迟,对笔记本几乎没有参考意义。这些发布里没有一家附上了针对小模型质量的、中立的第三方审计。
另一个问题是小模型到底用来做什么。Aleph Alpha 把 Kolibri 定位在受监管行业的主权工作,ZeroLeaks 把 Shield 定位成智能体前面的过滤器,llama.cpp 把决策模型定位成路由器和检查器。它们没有一个是想做通用聊天机器人,而用来判断聊天机器人好不好的那些基准,也衡量不了这些工作中的任何一项。
资料来源
8- 01Kolibri Has Landed: A Sovereign Open-Weight ModelEN
- 02New in Llama.cpp: Decision ModelsEN
- 03Shield: A 118M model for detecting prompt injections and jailbreaksEN
- 04Underdog private personal on-device local AI for privacy and securityEN
- 05Changes to Gemini model access and limitsEN
- 06Anthropic's super bug-hunting model Mythos is hardcore good at math, as latest vuln under attack showsEN
- 07Anthropic claims popular Chinese AI model has Mythos-class hacking abilitiesEN
- 08A Beginner's Guide to Running AI Models LocallyEN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。