开源权重持续发布:Inspect、Phonon-2、Kumo Tabular 与一个志愿者训练的 1.45 亿参数模型
英国人工智能安全研究所与 Meridian Labs 于 9 月 30 日发布 Inspect,这是一个开源框架,内置 200 多项现成评测。同期发布的还有 Fermion Research 的 Phonon-2 语音模型和 Nvidia 的 Kumo Tabular。

项目官网显示,Inspect 于 9 月 30 日 15:20 UTC 发布。这是英国人工智能安全研究所和 Meridian Labs 做的前沿人工智能评测框架。它的卖点是覆盖面广:编程、智能体任务、推理、知识、行为和多模态理解,全放在一个工具里。
框架自带可组合的数据集、智能体、工具和评分器,还有一个收录 200 多项现成评测的库。它包含网页版 Inspect View 工具和 VS Code 扩展。不受信任的模型代码通过扩展 API 放进 Docker、Kubernetes、Modal、Proxmox 或 Vagrant 里运行。项目称支持 20 多家模型提供商,本地推理可以用 HuggingFace、vLLM 和 SGLang。
评测工具是开源权重里不显眼的那一半。权重没法衡量,就只是一堆文件。
一个 164 MB 的语音模型,和一个不用训练的表格模型
Fermion Research 于 9 月 30 日发布 Phonon-2,称它是 900 MB 以下最准确的开源语音识别模型。下载体积 164 MB。公司称,在 Open ASR Leaderboard 的七个英语数据集上,词错误率平均为 5.21%。公司还说,成绩比它好的开源模型,体积至少是它的 5.8 倍。
编码器把每个权重存成五个学习到的电平之一,约 2.1 比特,按三进制数字打包,每字节五个。权重采用 CC-BY-4.0 许可,和它衍生自的 Nvidia Parakeet TDT 0.6B v3 一样。Fermion 称,在 MacBook Air 上,一小时音频约 20 秒转成文字。公司还称,H100 以 128 为一批处理,13 秒能处理一天的音频。
Nvidia 带来的是另一种压缩。Kumo Tabular 于 9 月 29 日发布在 Hugging Face 上,从一张带标签的表格出发,一次前向计算就能预测标签。分类和回归都不用训练、不用调参、不用做特征工程。模型有三个规格,从 2800万 到 21500万 参数,只用人工数据预训练,以 OpenMDW-1.1 许可发布,可商用。Nvidia 称它在 TabArena、BeyondArena、TALENT 和 ScoringBench 上排名第一。
志愿者、Rust,以及一个用定时任务训练的 1.45 亿参数模型
更小的项目也在往前走。GitHub 项目 Coop 于 9 月 30 日更新,正在 FineWeb-Edu 上预训练一个约 1.45 亿参数的纯解码器 transformer。它用的是捐赠的消费级硬件,以及 Hugging Face 和 GitHub Actions 的免费额度。伪梯度以拉取请求的形式提交到公开的数据集仓库。一个无状态的 GitHub Actions 定时任务按 DiLoCo 式的外层步骤聚合这些梯度,理论上每五分钟一次。不过项目指出,GitHub 的调度器实际触发间隔从几分钟到几小时不等。第一阶段是在 TinyStories 上训练 1500万 参数模型,六天后超出了 Chinchilla 最优预算,验证损失从 9.01 降到 2.8。
另一个 Rust 项目 PSSA 同样于 9 月 30 日更新,描述的是一种非 transformer 架构。它包含选择性状态空间循环、情景记忆库和逐 token 权重更新。作者称,参数量相同时,它比 transformer 学得更快。作者还称,在同样的 CPU 上,它的生成速度约快十二倍。仓库里没有独立的基准测试。
这一周的开源发布,背景是更严的监管环境。《卫报》9 月 30 日报道,美国联邦贸易委员会已对 Anthropic、OpenAI 等公司展开行业范围的调查。这是美国首次针对失控人工智能智能体的正式执法行动。Ars Technica 同日报道,OpenAI 因安全顾虑推迟其 IPO。开源权重不是这两项行动的对象,但审查的氛围会影响与它们一同发布的一切。
资料来源
7- 01Inspect: An open-source framework for large language model evaluationsEN
- 02Phonon-2: most accurate open speech recognition model in a 164 MB downloadEN
- 03Nvidia Kumo Tabular: Open Foundation Model for Tabular PredictionEN
- 04Coop: A small language model pretrained by volunteersEN
- 05PSSA: A non-transformer language model written from scratch in RustEN
- 06US trade regulator opens investigation into AI giants including Anthropic and OpenAIEN
- 07OpenAI delays IPO over AI safety concernsEN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。