跳到正文
世界时间EU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

关于人工智能与技术的门户事件 · 分析 · 访谈 · 技术背景

搜索
直播
›

开放权重走向轻量化:Phonon-2、Kumo Tabular 与志愿者训练模型同日发布

Fermion Research 于 9 月 30 日发布 Phonon-2。这是一个开放语音识别模型,下载包仅 164 MB。在 Open ASR Leaderboard 的七个英语测试集上,它的平均词错误率为 5.21%。几个小时内,英伟达的 Kumo Tabular 和一个由志愿者训练的 14500 万参数语言模型也相继亮相。

人工智能与模型新闻林晓雯发布: 2026年9月30日3 分钟阅读资料来源 7
开放权重走向轻量化:Phonon-2、Kumo Tabular 与志愿者训练模型同日发布

一天之内出现了三个开放权重发布,没有一个在追求规模。Fermion Research 于 9 月 30 日发布 Phonon-2。这是一个英语语音识别模型,每个编码器权重以五个学习到的电平之一存储,约合 2.1 比特,整个文件 164 MB。公司称它与 6亿 参数级别的 2.5 GB 全精度教师模型逐项持平,在会议和议会演讲上还超过了教师模型。在 MacBook Air 上,它转录一小时音频约需 20 秒。权重托管在 Hugging Face,采用 CC-BY-4.0 许可,与它派生自的英伟达 Parakeet TDT 0.6B v3 相同。

最后这一点很关键。小型开放模型的竞赛,很大程度上是教师模型和许可协议的竞赛。

Fermion 称,在 Open ASR Leaderboard 七个英语测试集上得分更高的开放模型,体积至少是它的 5.8 倍。公司表示这一领先在噪声条件下依然成立,仍领先于同尺寸的另一款低位宽模型 Parakeet Redux。速度数字附有条件:一次只处理一段音频,包含 log-mel 计算,不包含模型加载。每条快速路径只有在词错误率与精确路径的差异落在噪声范围内时才会发布。这项检查使用按片段配对的自助法,重采样 4000 次。

Kumo Tabular 瞄准树模型的生命周期

英伟达于 9 月 29 日发布 Kumo Tabular。这是一个用于表格分类和回归的开放基础模型。它无需训练、调参或特征工程,一次前向传播就能预测新行。它有三种规模,从 2800 万到 21500 万参数,采用 OpenMDW-1.1 许可,可用于商业用途。根据 Hugging Face 的发布帖,它在 TabArena、BeyondArena、TALENT 和 ScoringBench 四项基准上排名第一。

其架构借鉴了 TabICL 和 TabPFN,包含列注意力、行注意力和上下文内注意力。公司称它只用人工数据预训练,从而绕开了在客户表格上训练带来的隐私问题。它能否在生产环境中取代梯度提升树,与基准排名是两回事。英伟达的帖子没有回答这个问题。

一个用 GitHub Actions 和捐赠硬件训练的语言模型

Coop 项目是一个 9 月 30 日上线的 GitHub 仓库。它尝试的事情更奇怪:在没有服务器、没有资金的情况下预训练一个小型语言模型。第二阶段是一个约 14500 万参数的纯解码器 Transformer,在 FineWeb-Edu 上从零开始训练。参与者从 Hugging Face 下载检查点,在自己负责的数据分片上本地执行 AdamW 更新步骤,再把伪梯度以拉取请求的形式提交到公开的数据集仓库。一个无状态的 GitHub Actions 定时任务每五分钟运行一次,用截尾均值或几何中位数汇总这些提交,然后执行一次 Nesterov 外层更新。

第一阶段才是证明。一个 1500 万参数的模型,由志愿者在六天内训练到超过其 Chinchilla 最优预算。验证损失从 9.01 降到 2.8。权重保持可用。项目自己的文档在评估问题上格外坦率:它指出单个验证损失数字说明不了什么,因为外层更新让它上升和下降的次数差不多。方向是整条序列的性质,而不是某一个点。

这一窗口里还有另外两个开放发布。英国 AI 安全研究所和 Meridian Labs 发布了 Inspect,这是一个评估框架,内置 200 多项评估,还能在 Docker、Kubernetes 和 Modal 中为不可信的模型代码提供沙箱。Sparticle62ops 则发布了 PSSA,一个用 Rust 写成、底层不依赖任何机器学习框架的非 Transformer 语言模型。它声称在参数量相同时 PSSA 学得比 Transformer 快,在同样的 CPU 上生成文本也快约十二倍。

开放权重并不是全部。同样在 9 月 30 日,美国联邦贸易委员会对 Anthropic、OpenAI 和研究机构 Metr 启动了行业范围的调查。据《卫报》报道,这是美国针对失控 AI 智能体的首次正式执法行动。与此同时,据 Ars Technica 报道,OpenAI 正在推迟 IPO,并因安全顾虑暂缓发布一款模型。对比很难忽视:顺利发布的都是小模型,被调查的则都是估值最高的公司。

评论 0

资料来源

7
  1. 01Phonon-2: most accurate open speech recognition model in a 164 MB downloadEN
  2. 02Nvidia Kumo Tabular: Open Foundation Model for Tabular PredictionEN
  3. 03Coop: A small language model pretrained by volunteersEN
  4. 04Inspect: An open-source framework for large language model evaluationsEN
  5. 05PSSA: A non-transformer language model written from scratch in RustEN
  6. 06US trade regulator opens investigation into AI giants including Anthropic and OpenAIEN
  7. 07OpenAI delays IPO over AI safety concernsEN

本文所有数字与引语均来自下列来源,未添加来源之外的内容。

本内容由编辑部在人工智能辅助下制作完成。

林晓雯

林晓雯

人工智能、模型与技术

林晓雯负责FLASH24的人工智能、模型与技术方向,主要写科技、人工智能与模型、媒体与互联网三个领域。她习惯从论文预印本、开源代码库和厂商技术文档入手,先核对训练数据来源和评测口径,再决定是否落笔。遇到模型跑分,她会自己复现一遍小规模测试,并对照独立第三方榜单,确认数字没有注水。她常联系一线工程师和产品经理,也盯着各大会议截稿日,把不同版本的技术报告放在一起比。业余时间她玩3D打印、折腾老电脑,还关心模型从网络垃圾里学到的偏见问题,这让她对数据清洗格外敏感。她有一条原则:拿不到原始数据的性能宣称,不写。

编辑部 →

评论

0
  1. 还没有评论——来说两句吧。

写评论

评论公开展示。我们不发布辱骂、垃圾信息和广告内容。