志愿者用家用硬件训练出1.45亿参数语言模型,没有服务器也没有经费
志愿项目 Coop 在9月30日上线了第二阶段模型:一个1.45亿参数的语言模型,全部预训练都在捐赠的消费级硬件和免费云服务额度上完成。

项目代码仓库放在 GitHub 的 commonsense-ai/coop 下。仓库说明写道,整个训练循环不需要服务器、不需要后台进程,也不需要任何经费。参与者从 Hugging Face 的模型仓库下载当前检查点,在自己的数据分片上跑本地 AdamW 更新,再把一份伪梯度作为 pull request 提交到公开的 Hugging Face 数据集仓库。GitHub Actions 定时任务每五分钟触发一次,把这段时间收到的提交汇总起来,做一次 Nesterov 外层更新,然后上传新的检查点。
第二阶段是一个 decoder-only transformer,12 层、14 个注意力头、d=896,上下文长度 1024 个 token,训练数据是 FineWeb-Edu。
第一阶段是一个1500万参数的模型,在 TinyStories 上训练了六天,结束时已经超出 Chinchilla 最优预算,验证损失从 9.01 降到 2.8。这些数字来自项目自己的 README。
志愿者究竟证明了什么
README 对失败情况的描述细得少见,工程细节也都在这里。有一次提交正好撞上聚合时点,它晚一步被接受,按较低的陈旧度权重计入。同一个用户重复提交的轮次会合并成一张票,项目说这是防止刷 token 的手段。coop stop 命令会把跑了一半的轮次冲掉,而不是直接丢弃。每个时点收件箱都会清空到零。多名志愿者分别在 Apple Silicon 和普通 CPU 上训练过同一个外层步骤,结果被平均成一次更新。
参与不需要许可。任何有写入 token 的免费 Hugging Face 账号都能提交,维护者不额外发放权限。
权重和优化器状态只存放在 Hugging Face 上,格式是 safetensors。代码、配置和贡献者台账由 Git 保存在一个专门的分支里。
项目对自己的数字意味着什么也很谨慎。每个时点都会在一个固定的留出切片上用固定随机种子评估新检查点,因此两次评估之间的变化反映的是模型本身,而不是采样带来的波动。排行榜拟合的是验证损失对 token 数的斜率,不是对外层步数的斜率,因为一步对应多少工作量,取决于那个时点恰好有多少人提交。README 写明,只有斜率超过两个标准误才算下降,达不到就照实标注。
放在整个领域里看
小模型这条赛道已经很挤。TechCrunch 在9月30日报道,谷歌通过 Fairwind Program 向一组精选的网络合作伙伴发布了 Gemini 4 Argon,那是前沿模型,不是小模型。CNBC 同一天报道,Argon 已经在谷歌内部用于优化数据中心的显存。对比本身就是重点:Coop 的1.45亿参数比一次前沿发布低了大约三个数量级,而且跑在志愿者本来就有的硬件上。
往这个方向做的项目不止它一个,不过现有材料只能直接支撑 Coop 自己的说法。
它确实展示了一套能跑起来的分布式训练机制,而且没有集中的基础设施预算。README 说这套循环是经生产验证的,不是设计出来的,并逐条列出了它扛住过的边界情况。
Coop 提供一个可以通过 uv 安装的命令行工具,coop run latest 会下载当前检查点并根据提示词生成文本。
项目建议改用已经完成的第一阶段 TinyStories 模型,说它比还在训练中的版本连贯得多。
资料来源
5- 01Coop: A small language model pretrained by volunteersEN
- 02Google releases Gemini 4 Argon, called its most powerful model yetEN
- 03Google rolls out Gemini 4 Argon, its most advanced AI modelEN
- 04OpenAI and Synopsys team up to build an AI model that designs chips like a seasoned engineerEN
- 05OpenAI announces 'dots' agent after scrapping launch of new AI model over safety concernsEN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。