Whistle 把语音识别塞进 16.9 MB 文件,面向手机和机器人
Cactus Compute 于 10 月 3 日发布 Whistle。这是一个语音识别模型,打包成单个 16.9 MB 文件,无需依赖即可在 CPU 上运行,可转写七种语言。公司称,它生成第一个 token 只需 11 ms。

Cactus Compute 于 10 月 3 日发布 Whistle,把它定位为面向手机、可穿戴设备、机器人、智能家居设备、车载系统和微控制器的模型。公司博客文章说,整个模型就是一个 16.9 MB 文件,加载进与早前 Needle 模型相同的 C++ 引擎,容器相同,量化方式也相同。
体积为何重要:Cactus 拿来对比的 Whisper base 是 145.3 MB,约为 Whistle 的 8.6 倍。对在内存很小或没有稳定连接的设备上搭建语音界面的人来说,这个差距决定模型能不能装得下。Whistle 没有回答的是,面对嘈杂的真实音频时准确率如何。Cactus 报告称它在部分基准上领先,在另一些上落后,目前还没有公开的独立复现。
按 Cactus 公布的数字,Whistle 在 LibriSpeech test-clean 和 test-other、SPGISpeech、Earnings-22 以及 FLEURS 平均值上领先。Whisper base 在 TED-LIUM、AMI 和 MLS 平均值上领先。文章称,两个模型都在各自官方运行时上以默认设置运行,Whistle 的引擎使用五束搜索。
语言列表为英语、德语、法语、西班牙语、意大利语、荷兰语和波兰语。除非你指定语言,否则模型会自动检测,并把检测到的语言作为一个 token 输出。词表包含 8192 个文本片段和七个语言 token。它处理任意长度的 16 kHz 单声道音频,30 秒以内一次前向,超过则分窗处理。
端侧语音这一周还有什么
Whistle 不是本周唯一到场的小模型。ZeroLeaks 的 Shield 是一个 11800万 参数的分类器,用于检测提示注入和越狱,以 118 MB 的 int8 ONNX 权重在 CPU 上本地运行。它的 S15e 版本日期为 10 月 2 日。它不做语音转写,但占的是同一个位置:一个小模型,在智能体依据文本行动之前离线检查文本。模型卡报告称,在使用 Shield rules v2 时,类别均衡平均准确率为 84.3%,攻击召回率为 71.8%。测试基于 35 个公开数据集,这些数据集参与了开发,而不是未见过的测试集。
Aleph Alpha 本周也公布了权重。Kolibri 于 10 月 3 日发布,是一个英德双语混合专家 transformer,总参数 780亿,激活 30亿,上下文窗口最高 100万 tokens,采用 Apache 2.0 许可。公司称它能与激活参数量最多为其四倍的模型匹敌,并点名 Nemotron 3 Super。它是文本模型,不是语音模型,Aleph Alpha 把它定位给公共管理、工业和航空航天领域。
语音工具走向哪里,最清楚的信号来自一个小得多的项目。10 月 3 日,Kitsuno 发布了一篇工程记录,讲的是训练一个开放决策模型 Laya,让它在生产环境中替代闭源模型 Jev。Laya 读取文本,返回带概率的类型化决策。Kitsuno 报告称,在一次预发布测试中,它为 26% 的招聘广告找对了国家,为 50% 找对了工作模式,而 Jev 是 89%。
公司称,训练时没有使用 Jev 的任何回答,并援引一项客户协议条款,该条款禁止利用输出训练竞争产品。
这个细节对应着一个更大的转向。现在放出来的模型窄、小,注定跑在你自己的硬件上,不管是手机、机器人,还是法兰克福的一台服务器。Whistle 的 11 ms 首 token 和 16.9 MB 文件就是它的卖点。准确率在基准测试框架之外是否站得住,仍是未解的问题。
Cactus 没有说 Whistle 何时会出现在量产产品里,也没有任何设备厂商说过。就目前而言,权重和引擎就是这次发布的全部。
资料来源
8- 01Whistle: Speech to Text in 16.9 MBEN
- 02Shield: A 118M model for detecting prompt injections and jailbreaksEN
- 03Kolibri: A Sovereign Open-Weight ModelEN
- 04Training an open decision model to replace a closed one, in shadow on prodEN
- 05New in Llama.cpp: Decision ModelsEN
- 06Anthropic's super bug-hunting model Mythos is hardcore good at math, as latest vuln under attack showsEN
- 07Anthropic claims popular Chinese AI model has Mythos-class hacking abilitiesEN
- 08A Beginner's Guide to Running AI Models LocallyEN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。