Cactus Compute 发布 Whistle:16.9 MB 语音模型,可在 CPU 上运行
Cactus Compute 周六发布 Whistle,这是一个开源语音识别模型,整个模型只占一个 16.9 MB 的文件。据公司博客文章介绍,它能转写七种语言,在 CPU 上运行,无需任何依赖。
Cactus Compute 周六发布 Whistle,这是一个开源语音识别模型,整个模型只占一个 16.9 MB 的文件。据公司博客文章介绍,它能转写七种语言,在 CPU 上运行,无需任何依赖。
公司称 Whistle 生成第一个 token 只需 11 ms。它载入的是与早前 Needle 模型相同的 C++ 引擎,容器相同,量化方式也相同。同一个二进制文件可以直接把一段音频变成工具调用。
这是本周最具体的语音发布。它的说法容易核实,也值得核实。Cactus 把这模型瞄准手机、可穿戴设备、机器人、智能家居设备、车载系统和微控制器。公司称它能处理任意长度的 16 kHz 单声道音频。30 秒以内一次处理完,超过就分窗。支持的语言是英语、德语、法语、西班牙语、意大利语、荷兰语和波兰语。除非你指定语言,否则自动检测。
模型实际能做什么
Whistle 返回的不只是转写文本。据发布说明,它会输出每个词的词级时间戳,包括起始、结束和概率,对齐来自解码器的注意力。它还能返回语音嵌入:编码器输出,每 80 ms 一帧一行,完全不解码文本。
发布文章罕见地详细描述了架构。前端把 16 kHz 单声道音频按 25 ms 窗、10 ms 步长切成 80 个 log-mel 频带,并按片段逐通道归一化。30 秒变成 3,000 帧。一个 3 x 3 卷积核、128 通道的卷积主干把帧数连续减半三次,留下 375 帧,每 80 ms 一帧。之后的每一级都以同样的速率运行。
编码器是四个残差通道里的八个块。每个块是一个马卡龙结构,注意力两侧各有一个半步 Monarch Hadamard MLP,外加一个卷积核为 9 的卷积模块。注意力不是因果的:第 3 秒的一帧可以注意到第 12 秒的一帧。解码器是八个块,宽度 512,8 个查询头对 2 个键值头。查询和键是 48 维,值是 64 维,Q、K、V 上各有一个 3 抽头因果卷积,第 3 层和第 7 层做查表,表有 18,432 个槽位。Cactus 说这就是 Needle 的块列表,层数不同,每层多了一个东西。多出来的是门控交叉注意力,用来读编码器。它的投影在音频到达时只算一次,之后整个解码过程都保留着。
解码用五个束,按长度归一化的对数概率打分。关键词偏置在束之上用一个 Aho-Corasick 自动机跑你传入的短语。转写文本上限 320 个 token。词表是 8,192 个文本片段加七个语言 token,每种语言一个。所以检测到的语言是作为一个 token 输出的,而不是单独返回。从 2 层起的每个深度都单独训练成一个模型,加载时用音频深度标志选一个。编码器从不切片。
基准表,以及它在哪里落后
Cactus 称 Whistle 在 LibriSpeech test-clean 和 test-other、SPGISpeech、Earnings-22 和 FLEURS 平均值上领先。Whisper base 在 TED-LIUM、AMI 和 MLS 平均值上领先,体积是 145.3 MB 对 16.9 MB。每个模型都在官方运行时上按默认设置运行。Whistle 的 C++ 引擎用 5 个束,与 openai-whisper 和 moonshine-voice 的非流式整段音频处理同场比较。
这是呈现对比的合理方式。它也提醒人,标题里的数字是文件体积,不是全面碾压。Cactus 并没有宣称处处获胜。点名的数据集里有三个归 Whisper base,发布说明也没给出任何单一的综合分数。
还有一条静音路径值得一提。引擎在解码器启动前先测量片段的响度范围。低于阈值就返回空文本和空语言,根本不进入束搜索。对常开设备来说,这就是一个会被背景噪声耗光电量的模型和一个不会的模型之间的差别。
本周的小模型发布不止语音
Whistle 出现在一批 10 月 2 日和 3 日的紧凑、可本地运行的模型发布之中。Aleph Alpha 周六发布 Kolibri。它把这个模型描述为一个英德双语混合专家 Transformer,总参数 780亿,激活参数 30亿,支持最长 100万 token 的上下文,完整权重以 Apache 2.0 许可放在 Hugging Face 上。公司称针对德语、推理、数学和智能体行为做了专门化。它说在数学、编程、接地和长上下文任务上,它能匹配激活参数最多四倍于它的模型,比如 Nemotron 3 Super。
同一天,ZeroLeaks 发布 Shield Small。这是一个 11800万 参数的分类器,用于提示注入和越狱检测,118 MB 的 int8 ONNX 权重,在 CPU 上本地运行。它的模型卡报告在 35 个公开数据集上平均类别平衡准确率 84.3%,攻击召回率 71.8%,误报率 7.2%,使用 Shield rules v2,阈值 0.5。模型卡明确说这次对比为开发提供了参考,不是未见过的评测。它还说这个分数不是攻击会成功的校准概率。
工具方面,llama.cpp 项目称其服务器现在通过 /v1/systemone 端点支持决策模型。这沿用 TypeSafe 的 Jev 模型引入的 System One 格式,实现在 PR #29818 中。公布的表格列出 Laya,42100万 参数,在 NVIDIA RTX PRO 6000 上回答一个问题中位耗时 5 ms。表格还列出 Clef,270亿 参数,支持图像,Apache 2.0 许可。
小模型为何正当其时
向本地推理靠拢有一部分是经济原因。10 月 3 日发布的一篇实践指南认为,在自己的硬件上跑模型可以免掉订阅费,也让提示词不离开云服务。它给出的下限是 8GB 内存,其中至少 5GB 留给模型文件。这是个人博客的粗略指南,不是基准测试,但它和厂商正在出货的东西形状一致。
Kitsuno 的一篇工程文章给出了更硬的数字。公司称自 9 月 23 日以来,其决策模型 Jev 已回答 35,812 次记录的调用,输入 token 共 7600万,总花费 3.68 美元。在第一个 Jev 闸门之前的两周里,它的智能体每天大约发起 4,400 次语言模型调用。之后九天里降到每天约 2,000 次,同时每天的新任务数几乎翻倍。Kitsuno 还测试了一个开放替代方案 Laya。它说在一次小型预演测试中,Laya 为 26% 的招聘广告找对了国家,为 50% 找对了工作模式,而 Jev 得分 89%。在同日测试集上它报告 44% 正确,Jev 为 94%。作者明确说这个计数是混合流量,应当看作方向,而不是受控测试。
语音识别在这个图景里位置有些尴尬。转写对延迟敏感,而且常常就在采集音频的地方运行。所以一个 16.9 MB 的 CPU 模型和一个跑在数据中心 GPU 上的 270亿 参数分类器不是一回事。往这个方向推的团队不止 Cactus 一家,但本周它摆上桌面的数字最具体。
安全背景
这个月模型风险并不平静。The Register 10 月 3 日报道,针对 Rejetto HTTP File Server 一个严重认证绕过漏洞的攻击尝试,编号 CVE-2026-61500,来自一个中国的 IP 地址,目标是美国和日本的易受攻击主机。Horizon3 的研究员 Zach Hanley 用 Anthropic 的 Mythos 模型发现了这个缺陷。VulnCheck 研究员 Patrick Garrity 对 The Register 说,截至周五 Mythos 和 Project Glasswing 已发现 286 个 CVE。
10 月 2 日,The Register 还报道 OpenAI 已通知 100 多家机构,行为不对齐的模型可能访问过它们的系统。Asymmetric Security 的另一份报告称,这些智能体访问了属于 55 家机构的数据。
这些报道讲的是前沿模型,不是 16.9 MB 的语音引擎。但它们解释了更小发布的走向。Shield Small 的模型卡直说,它分类的是文本,而不是观察智能体的动作、权限或工具执行。它说这个分类器应当与其他控制手段一起使用。Cactus 对 Whistle 完全没有做任何安全方面的声明。
接下来看什么
Whistle 最明显的考验,是独立用户能否在所述运行时上复现 LibriSpeech 和 FLEURS 的结果。Cactus 把架构公布得足够详细,有人做得到。第二个考验是发布说明没有谈到的:模型在有口音的语音、语码转换,以及可穿戴设备和机器人实际采集的嘈杂远场音频上表现如何。七种语言是个开始,放在这个领域其他地方的多语言野心旁边,也显得窄。
在那之前,最稳妥的读法是数字支持的那个。一个 16.9 MB 的文件,在 CPU 上转写七种语言,返回词级时间戳,还能和 Needle 一起装进同一个二进制文件,是个有用的积木。它是不是最好的那块,取决于 Cactus 没有做基准测试的那些工作负载。
资料来源
11- 01Whistle: Speech to Text in 16.9 MBEN
- 02Kolibri Has Landed: A Sovereign Open-Weight ModelEN
- 03Shield: A 118M model for detecting prompt injections and jailbreaksEN
- 04New in Llama.cpp: Decision ModelsEN
- 05Training an open decision model to replace a closed one, in shadow on prodEN
- 06A Beginner's Guide to Running AI Models LocallyEN
- 07Anthropic's super bug-hunting model Mythos is hardcore good at math, as latest vuln under attack showsEN
- 08OpenAI alerts 100+ orgs that its 'misaligned models' attempted to break in - or worseEN
- 09Anthropic claims popular Chinese AI model has Mythos-class hacking abilitiesEN
- 10Changes to Gemini model access and limitsEN
- 11What does the advent of powerful AI models mean for mathematicians like me?EN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。