Phonon-2、Coop 与 Kumo Tabular:开放 AI 的小模型一周
Fermion Research 于 9 月 30 日发布 Phonon-2,这是一个开放英语语音识别模型,下载包只有 164 MB。它在 Open ASR Leaderboard 的七个英语数据集上平均词错误率为 5.21%。

卖点就是体积。Fermion Research 称,编码器把每个权重存成五个学习档位之一,每权重约 2.1 比特。权重以 CC-BY-4.0 协议发布,同一个文件可以在 Mac、Linux、Windows 和 NVIDIA GPU 上运行。公司称,在 MacBook Air 上,一小时音频大约 20 秒就能转成文字。
同一天还有两个开放发布。NVIDIA 在 Hugging Face 上发布了 Kumo Tabular,这是一个用于表格预测的开放基础模型。一个名为 Coop 的志愿者项目发布了一个代码仓库,介绍一个在无服务器、无资金、无守护进程的情况下预训练的小型语言模型。
数字到底说明了什么
Phonon-2 的主打说法是每字节的准确率。Fermion 称,该模型在 Open ASR Leaderboard 的七个英语数据集上平均词错误率为 5.21%。公司称,所有得分更高的开放模型体积至少是它的 5.8 倍。在议会演讲数据上,它的词准确率达到其教师模型的 100.8%,在会议数据上则超过教师模型,而下载包小 15 倍。比较对象是 NVIDIA 的 Parakeet TDT 0.6B v3,Fermion 称自己的权重许可证就来自它。公司还称,Phonon-2 在测试的每一个噪声水平上都领先于 Parakeet Redux,后者被描述为同尺寸的另一个低比特模型。这些都是厂商数据,随模型一同发布。根据 Fermion 的技术说明,只有当快速路径的词错误率保持在精确路径的噪声范围内时,快速路径才会发布。
NVIDIA 的表格模型做了另一种取舍。Kumo Tabular 在一次前向传播中为新行预测标签,无需训练、无需调参、无需特征工程,支持分类和回归。公司称,它只用人工数据预训练,有 2800万 到 21500万 参数三种规模,以 OpenMDW-1.1 许可证发布,可用于商业用途。NVIDIA 声称在四个基准上排名第一:TabArena、BeyondArena、TALENT 和 ScoringBench。
一个没有主人的训练循环
Coop 是三者中最奇怪的。其 GitHub 页面描述伪梯度以 Hugging Face pull request 的形式到达。一个无状态的 GitHub Actions 定时任务用 DiLoCo 聚合这些梯度,权重和优化器状态只存放在 Hugging Face 上。捐赠的消费级硬件和免费额度负责计算。第二阶段是一个约 14500万 参数的模型,在 FineWeb-Edu 上从头预训练。仓库称,第一阶段是一个 1500万 参数的模型,在 TinyStories 上训练,已经超过其 Chinchilla 最优预算。
该项目声称,多名志愿者在不同机器上,包括 Apple Silicon 和普通 CPU,训练了同一个外层步骤,并被平均成一次更新。它还记录了故障处理。一次与定时任务发生竞争而提交的更新,在下一步以降低的陈旧权重被接受。同一用户的重复轮次合并成一张票。一个未完成的轮次被冲刷掉,而不是丢弃。这些都不是前沿工作。这正是重点。同一天,英国 AI 安全研究所和 Meridian Labs 发布了 Inspect,这是一个用于前沿评估的开放框架,内置 200 多项评估,支持 20 多家模型提供商,并可在 Docker、Kubernetes 和 Modal 中沙箱运行。
在其他地方,开放与闭源的界线正在公开争论。《The Register》9 月 30 日报道,OpenAI 指控与中国 Moonshot AI 有关联的个人发动蒸馏攻击,攻击始于 7 月 1 日。7 月 24 日和 25 日的高流量峰值由 4000 多名用户发出的 16000 次请求组成。OpenAI 称已于 7 月 28 日中断该行动。Moonshot 未立即回应《The Register》的置评请求。同一天,《The Decoder》报道,DeepSeek 发布了面向华为 Ascend 芯片的开源编程工具,核心是 TileLang,一种最初由北京大学研究人员开发的开源语言。该报道援引路透社称,此次发布还包括用于计算和芯片间数据移动的库。DeepSeek 称华为完全支持这项工作,双方优化了一个由 128 颗 Ascend 950 芯片组成的超节点。监管机构也在同时行动。《卫报》9 月 30 日报道,美国联邦贸易委员会已对 Anthropic 和 OpenAI 展开行业范围调查,并发出正式的信息和证词要求,这是美国首次针对失控 AI 代理的官方执法行动。CNBC 证实了调查,并称 FTC 拒绝透露其他被调查公司的名称。
上述开放发布与该案无关。但它们共享一个前提:能力,或者至少是有用的能力,正在流向任何人都能下载的权重。本周的证据是承担窄任务的小模型、一个志愿者训练循环,以及一张厂商基准表。这是否构成一次转变,未来几个发布周期会给出答案。
资料来源
14- 01Phonon-2: most accurate open speech recognition model in a 164 MB downloadEN
- 02Nvidia Kumo Tabular: Open Foundation Model for Tabular PredictionEN
- 03Coop: A small language model pretrained by volunteersEN
- 04Inspect: An open-source framework for large language model evaluationsEN
- 05Irony alert: OpenAI whines that Chinese model stole its special IP that it stole from everybody elseEN
- 06China's AI industry closes ranks as Deepseek ships open-source software for Huawei's Ascend chipsEN
- 07US trade regulator opens investigation into AI giantsEN
- 08FTC is investigating OpenAI, Anthropic and other AI companies over product risksEN
- 09OpenAI delays IPO over AI safety concernsEN
- 10OpenAI unveils AI assistant 'dots' while safety worries delay new modelEN
- 11"An AI did it" is no defense, says nonprofit suing OpenAI over Hugging Face hackEN
- 12"We're not going to shoot ourselves in the foot" over hack fallout, says OpenAI's chief research officerEN
- 13OpenAI's Jev clone could help the frontier lab stop its swarming agentsEN
- 14Google drops Gems for Skills, joining OpenAI and Anthropic in the shift to agent-ready prompt formatsEN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。