开源权重接连落地:164 MB 语音模型、1.45 亿参数志愿算力实验,以及中国的 CUDA 替代方案
英伟达 9 月 29 日在 Hugging Face 发布 Kumo Tabular,这是一个用于表格预测的开源基础模型。一天后,Fermion Research 放出 164 MB 的语音模型 Phonon-2。两款模型面世之际,美国联邦贸易委员会(FTC)正对 AI 实验室展开行业性调查,OpenAI 则暂缓了自己的 IPO。

英伟达 9 月 29 日把 Kumo Tabular 放上 Hugging Face。文章标注日期为 9 月 29 日,9 月 30 日发到博客,称该模型只需一次前向计算就能为新行预测标签,不用训练,不用调参,也不用特征工程。模型有三个规格,参数从 2800万 到 21500万,只用人工数据预训练,以允许商用的 OpenMDW-1.1 许可证发布。英伟达称它在 TabArena、BeyondArena、TALENT 和 ScoringBench 上排名第一。
这个说法范围很窄,英伟达的表述也很克制:只针对表格分类与回归,也就是存放客户记录、交易流水和传感器日志的那类表格。思路是把上下文学习用在数据行上,而不是文本上。模型在数百万张表格上预训练过,会把带标签的表格当作上下文读进去,返回类别概率,或在回归任务中返回 999 个分位数,据此得到点预测和不确定性估计。
Fermion Research 于 9 月 30 日发布 Phonon-2,称其为 900 MB 以下最准确的开源语音识别模型。
下载体积 164 MB,编码器把每个权重存成约 2.1 比特,权重采用 CC-BY-4.0 许可证,这正是其来源模型、英伟达 Parakeet TDT 0.6B v3 所用的许可证。Fermion 报告称,在 Open ASR Leaderboard 的七个英语测试集上平均词错率为 5.21%,并称所有成绩更好的开源模型体积至少是它的 5.8 倍。在 MacBook Air 上,它把一小时音频转成文字约需 20 秒。这些数字来自厂商自己的页面,榜单名次只能算厂商声称,尚未得到独立验证。
志愿者,和一个无状态的定时任务
同样在 9 月 30 日,一个名为 Coop 的 GitHub 项目上线了第二阶段训练:一个约 14500万 参数的纯解码器 Transformer,在 FineWeb-Edu 上从零开始预训练,全部跑在捐赠的消费级硬件上,外加 Hugging Face 和 GitHub Actions 的免费额度。项目没有服务器,也没有常驻进程。工作节点下载检查点,在各自的本地数据分片上跑 AdamW 更新,再把伪梯度作为拉取请求提交到公开的数据集仓库。
一个无状态的 GitHub Actions 定时任务在每一轮做汇总:丢弃过于陈旧的提交,对其余的做裁剪和余弦门控,聚合之后执行一次 Nesterov 外层更新,再上传新的检查点。仓库称,一个 1500万 参数的阶段一模型曾在 TinyStories 上训练六天,超出其 Chinchilla 最优预算,验证损失从 9.01 降到 2.8。这只证明了机制可行,并不是一个有竞争力的模型。
中国的推进是更大的战略故事。据 The Decoder 9 月 30 日以及路透社的报道,Deepseek 在其微信公号发布文章,公开了面向华为昇腾芯片的开源编程工具。核心是 TileLang,一种最初由北京大学开发的开源语言,Deepseek 称它提供的编程模型比 CUDA 更简单。Deepseek 表示华为“全力支持”这项工作,双方还优化了一个由 128 颗昇腾 950 芯片组成的超级节点。
背景是英伟达的开发者护城河:据估计有 6亿 CUDA 开发者。The Decoder 还援引 SemiAnalysis 的测试,后者测试了 OpenAI 的 Jalapeno 推理芯片,称 CUDA 的护城河“可能已死”,但同时提醒测试只覆盖了相对简单的场景,约 8000 个输入 token 和 1000 个输出 token。华为的芯片不在那次对比之中。
权重在出货,监管在行动
这一切都不是在真空里发生的。《卫报》9 月 30 日报道,FTC 正在对 Anthropic、OpenAI 及其他实验室展开行业性调查,并计划强制包括 Metr 在内的公司高管作证。《纽约邮报》最先报道了此事。另一边,OpenAI 暂缓了自己的上市:Ars Technica 9 月 30 日报道,Sam Altman 表示在公司能够“做出有把握的安全决策”之前不会上市,同日 LASST 在加州提起了诉讼。
上面这些开源权重发布都很小、很便宜,而且目标具体。值得盯的是这个模式,而不是那些榜单。
资料来源
6- 01Nvidia Kumo Tabular: Open Foundation Model for Tabular PredictionEN
- 02Phonon-2: most accurate open speech recognition model in a 164 MB downloadEN
- 03Coop: A small language model pretrained by volunteersEN
- 04China's AI industry closes ranks as Deepseek ships open-source software for Huawei's Ascend chipsEN
- 05US trade regulator opens investigation into AI giants including Anthropic and OpenAIEN
- 06OpenAI delays IPO over AI safety concernsEN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。