开放权重走向轻量化:Phonon-2、Kumo Tabular 与志愿者训练模型同日发布
Fermion Research 于 9 月 30 日发布 Phonon-2。这是一个开放语音识别模型,下载包仅 164 MB。在 Open ASR Leaderboard 的七个英语测试集上,它的平均词错误率为 5.21%。几个小时内,英伟达的 Kumo Tabular 和一个由志愿者训练的 14500 万参数语言模型也相继亮相。

一天之内出现了三个开放权重发布,没有一个在追求规模。Fermion Research 于 9 月 30 日发布 Phonon-2。这是一个英语语音识别模型,每个编码器权重以五个学习到的电平之一存储,约合 2.1 比特,整个文件 164 MB。公司称它与 6亿 参数级别的 2.5 GB 全精度教师模型逐项持平,在会议和议会演讲上还超过了教师模型。在 MacBook Air 上,它转录一小时音频约需 20 秒。权重托管在 Hugging Face,采用 CC-BY-4.0 许可,与它派生自的英伟达 Parakeet TDT 0.6B v3 相同。
最后这一点很关键。小型开放模型的竞赛,很大程度上是教师模型和许可协议的竞赛。
Fermion 称,在 Open ASR Leaderboard 七个英语测试集上得分更高的开放模型,体积至少是它的 5.8 倍。公司表示这一领先在噪声条件下依然成立,仍领先于同尺寸的另一款低位宽模型 Parakeet Redux。速度数字附有条件:一次只处理一段音频,包含 log-mel 计算,不包含模型加载。每条快速路径只有在词错误率与精确路径的差异落在噪声范围内时才会发布。这项检查使用按片段配对的自助法,重采样 4000 次。
Kumo Tabular 瞄准树模型的生命周期
英伟达于 9 月 29 日发布 Kumo Tabular。这是一个用于表格分类和回归的开放基础模型。它无需训练、调参或特征工程,一次前向传播就能预测新行。它有三种规模,从 2800 万到 21500 万参数,采用 OpenMDW-1.1 许可,可用于商业用途。根据 Hugging Face 的发布帖,它在 TabArena、BeyondArena、TALENT 和 ScoringBench 四项基准上排名第一。
其架构借鉴了 TabICL 和 TabPFN,包含列注意力、行注意力和上下文内注意力。公司称它只用人工数据预训练,从而绕开了在客户表格上训练带来的隐私问题。它能否在生产环境中取代梯度提升树,与基准排名是两回事。英伟达的帖子没有回答这个问题。
一个用 GitHub Actions 和捐赠硬件训练的语言模型
Coop 项目是一个 9 月 30 日上线的 GitHub 仓库。它尝试的事情更奇怪:在没有服务器、没有资金的情况下预训练一个小型语言模型。第二阶段是一个约 14500 万参数的纯解码器 Transformer,在 FineWeb-Edu 上从零开始训练。参与者从 Hugging Face 下载检查点,在自己负责的数据分片上本地执行 AdamW 更新步骤,再把伪梯度以拉取请求的形式提交到公开的数据集仓库。一个无状态的 GitHub Actions 定时任务每五分钟运行一次,用截尾均值或几何中位数汇总这些提交,然后执行一次 Nesterov 外层更新。
第一阶段才是证明。一个 1500 万参数的模型,由志愿者在六天内训练到超过其 Chinchilla 最优预算。验证损失从 9.01 降到 2.8。权重保持可用。项目自己的文档在评估问题上格外坦率:它指出单个验证损失数字说明不了什么,因为外层更新让它上升和下降的次数差不多。方向是整条序列的性质,而不是某一个点。
这一窗口里还有另外两个开放发布。英国 AI 安全研究所和 Meridian Labs 发布了 Inspect,这是一个评估框架,内置 200 多项评估,还能在 Docker、Kubernetes 和 Modal 中为不可信的模型代码提供沙箱。Sparticle62ops 则发布了 PSSA,一个用 Rust 写成、底层不依赖任何机器学习框架的非 Transformer 语言模型。它声称在参数量相同时 PSSA 学得比 Transformer 快,在同样的 CPU 上生成文本也快约十二倍。
开放权重并不是全部。同样在 9 月 30 日,美国联邦贸易委员会对 Anthropic、OpenAI 和研究机构 Metr 启动了行业范围的调查。据《卫报》报道,这是美国针对失控 AI 智能体的首次正式执法行动。与此同时,据 Ars Technica 报道,OpenAI 正在推迟 IPO,并因安全顾虑暂缓发布一款模型。对比很难忽视:顺利发布的都是小模型,被调查的则都是估值最高的公司。
资料来源
7- 01Phonon-2: most accurate open speech recognition model in a 164 MB downloadEN
- 02Nvidia Kumo Tabular: Open Foundation Model for Tabular PredictionEN
- 03Coop: A small language model pretrained by volunteersEN
- 04Inspect: An open-source framework for large language model evaluationsEN
- 05PSSA: A non-transformer language model written from scratch in RustEN
- 06US trade regulator opens investigation into AI giants including Anthropic and OpenAIEN
- 07OpenAI delays IPO over AI safety concernsEN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。