开放权重周报:英伟达 Kumo Tabular 领衔一周小型开源发布
英伟达9月30日发布 Kumo Tabular,这是一个用于表格预测的开放基础模型。英伟达称它无需训练、调参或特征工程,并在四项基准测试中排名第一。它出现在开放权重发布密集的一周里,从164 MB的语音模型到志愿者预训练的14500万参数语言模型。

英伟达的 Kumo Tabular 是这批发布中名气最大的,但它不是语言模型。给它一张带标签行的表格,它在一次前向传播中预测新行的标签。英伟达称它有3种规模,从2800万到21500万参数,并且只在人工数据上做了预训练。它以 OpenMDW-1.1 许可证发布,可用于商业用途。英伟达声称它在 TabArena、BeyondArena、TALENT 和 ScoringBench 上排名第一。
小模型,小下载
这一周最引人注目的成果并不是能力最强的那个。Fermion Research 于9月30日发布 Phonon-2,这是一个开放英语语音识别模型,下载包只有164 MB。该公司称,它在 Open ASR Leaderboard 的七个英语测试集上平均词错误率为5.21%。它还称,所有得分更高的开放模型体积至少是它的5.8倍。其权重采用 CC-BY-4.0 许可,派生自英伟达的 Parakeet TDT 0.6B v3。
工程上的说法很具体。每个编码器权重被存为五个学习到的层级之一,约合每权重2.1比特,以三进制数字打包,每字节存五个。Fermion 称,在 MacBook Air 上,一小时的音频大约20秒就能转成文字。在开放权重光谱的低端,这种体积与准确率的取舍就是全部卖点。
与此同时,一个名为 Coop 的志愿者项目在其 GitHub 仓库中称,它发布了一个14500万参数的纯解码器 Transformer,预训练没有使用服务器,也没有资金。其设置不同寻常。参与者从 Hugging Face 下载检查点,在个人数据分片上运行本地 AdamW 步骤,然后把伪梯度作为拉取请求提交到公开的 Hugging Face 数据集仓库。一个 GitHub Actions 定时任务每五分钟聚合一次提交。README 指出,GitHub 的共享调度器实际触发间隔从几分钟到几小时不等。
Coop 更早的阶段是由志愿者在六天内用 TinyStories 训练的1500万参数模型,验证损失从9.01降到2.8。该项目自己的文档对这说明什么很谨慎。单个验证损失说明不了问题,因此排行榜对序列拟合斜率,横轴是 token 数而不是外层步数,并给出标准误。
工具与芯片
基础设施层也在动。英国人工智能安全研究所和 Meridian Labs 于9月30日发布 Inspect,这是一个用于前沿人工智能评估的开源框架。它附带200多项预置评估、基于网页的 Inspect View 工具、一个 VS Code 扩展,以及一个沙箱系统,可在 Docker、Kubernetes、Modal、Proxmox 或 Vagrant 中运行不可信的模型代码。它支持20多家模型提供商,还支持用 HuggingFace、vLLM 和 SGLang 做本地推理。
时机之所以重要,是因为评估如今成了政治话题。9月30日,《卫报》报道美国联邦贸易委员会已对 Anthropic、OpenAI 及其他人工智能实验室展开行业范围的调查。这是该机构首次针对失控人工智能代理采取的正式执法行动。据该报援引的多篇报道,联邦贸易委员会计划强制 Anthropic、OpenAI 和研究机构 Metr 的高管作证。三家均拒绝向《卫报》置评。《纽约邮报》最先报道了这一消息。
然后是芯片层。据 The Decoder 9月30日报道,Deepseek 正在为华为的昇腾芯片发布开源编程工具,消息来自该公司官方微信公众号的一篇文章。核心是 TileLang,一种最初由北京大学研究人员开发的编程语言。Deepseek 认为它提供了比英伟达 CUDA 更简单的模型。路透社报道称,这套软件包含计算库和数据移动库,Deepseek 将全部开源。Deepseek 称华为全力支持这项工作,双方优化了由128颗昇腾950芯片组成的超级节点。
并非所有人都接受这套说法。研究公司 SemiAnalysis 测试了 OpenAI 的 Jalapeno 推理芯片,并称 CUDA 的护城河“可能已经死了”。它提醒说,自己只测试了约8000个输入 token 和1000个输出 token 的场景,尚未运行其 AgentX 基准。今年8月,同一家公司发现英伟达在代理工作负载上大幅领先。
这些发布没有解决的问题
开放权重不等于开放过程。Coop 的聚合器会丢弃过期的提交,其余的在单次 Nesterov 步骤前用截尾均值或几何中位数截断。Inspect 的沙箱之所以存在,正是因为模型代码不可信。Phonon-2 的许可证继承自另一家公司的模型。
而一致不等于准确。据 The Register 9月29日报道,开源工具 Jevstiller 把 Jev 的输出蒸馏进本地模型。它称与上游服务的一致率为98%,同时能在15毫秒内回答熟悉请求。其开发者在自己的文档中写得很明确:“一致不等于准确。”这句话可以放在本周大多数发布之下。
政治背景更不明朗。据 Ars Technica 报道,OpenAI 首席执行官 Sam Altman 周二在公司开发者日对记者表示,在能够“做出有把握的安全决策”之前,公司不会上市。Ars Technica 援引知情人士称,该公司正在洽谈以约14000亿美元估值融资300亿美元或更多。300亿美元的目标最早由彭博社报道。BBC News 也报道了同一活动,并指出 Altman 把名为 dots 的新代理称为“能力非凡、始终在线的代理,能处理你能想到的任何事情”。
对这一周还有一种解读:开放权重不过是更便宜的发行方式。英伟达想让 Kumo Tabular 进入企业流程。Fermion 想让 Phonon-2 装在笔记本电脑上。Deepseek 想让华为芯片有软件可用。Coop 想证明训练循环能在捐赠的硬件上跑起来。共同点不是意识形态,而是算术:更小的产物、更少的 token 消耗、更少要租的基础设施。
这套算术是否提升安全性是另一个问题,而这一周没有给出干净的答案。
资料来源
9- 01Nvidia Kumo Tabular: Open Foundation Model for Tabular PredictionEN
- 02Phonon-2: most accurate open speech recognition model in a 164 MB downloadEN
- 03Coop: A small language model pretrained by volunteersEN
- 04Inspect: An open-source framework for large language model evaluationsEN
- 05US trade regulator opens investigation into AI giantsEN
- 06China's AI industry closes ranks as Deepseek ships open-source software for Huawei's Ascend chipsEN
- 07Jevstiller: Open-source tool distills Jev so you can run it locallyEN
- 08OpenAI delays IPO over AI safety concernsEN
- 09OpenAI unveils AI assistant 'dots' while safety worries delay new modelEN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。