跳到正文
世界时间EU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

关于人工智能与技术的门户事件 · 分析 · 访谈 · 技术背景

搜索
直播
›

Coop 由志愿者训练的 14500 万参数模型,以及它周围的小模型浪潮

一个 145参数的语言模型正在捐赠的消费级硬件上从零开始预训练。根据其 9 月 30 日更新的 GitHub 仓库,这个项目没有服务器,也没有资金。

人工智能与模型分析王雅琴发布: 2026年10月2日3 分钟阅读资料来源 8
Coop 由志愿者训练的 14500 万参数模型,以及它周围的小模型浪潮

项目名叫 Coop。它的仓库描述了一套完全跑在志愿者机器上的训练循环,同时还用上了 Hugging Face 和 GitHub Actions 的免费额度。

第二阶段已经启动:一个约 14500 万参数的模型正在 FineWeb-Edu 上预训练。第一阶段是在 TinyStories 上训练的 1500 万参数模型,其训练量已经超过了 Chinchilla 最优的 token 预算。志愿者下载检查点,在自己的数据分片上跑本地的 AdamW 步。然后把一份伪梯度作为 pull request 提交到公开的 Hugging Face 数据集仓库。GitHub Actions 的定时任务每五分钟运行一次,读取所有打开的 pull request,丢掉过期的,对其余的做裁剪和筛选,再用截尾均值或几何中位数聚合。它执行一次 Nesterov 步,然后上传新的检查点。仓库里写明,GitHub 的共享调度器实际触发间隔从几分钟到几小时不等。这套协议能容忍任何节奏。

项目方说这套循环是经过生产验证的,不是纸面设计出来的。多名志愿者分别在 Apple Silicon 和普通 CPU 上跑过同一个外层步骤,这一步被平均成一次更新。与某次定时触发撞车的提交,会在下一步以较低的陈旧度权重被接受。同一个用户重复提交的轮次会合并成一票。一轮只做了一半的更新被冲刷掉,而不是丢弃。

这件事之所以重要,是因为小模型这一端越来越拥挤。10 月 2 日,微软 AI 发布了 MAI-Transcribe-2-Streaming,一个覆盖 60 种语言的实时转写模型。它返回首批部分结果只需要略多于 100 毫秒,The Decoder 报道。同一次发布还包括 MAI-Voice-2.1,它用同一个声音说 23 种语言。另有一个 Flash 版本,延迟 150 毫秒,价格从每百万字符 22 美元降到 15 美元。

决策模型是另一条战线。AWS 发布了 Strands Decider 2B,这是一个开源模型,返回的是经过校准的选择,而不是文本。它建立在 Qwen3.5-2B 的躯干上,TechCrunch 在 10 月 1 日报道。亚马逊的杰出工程师 Marc Brooker 对 TechCrunch 说,这类模型是“工作流步骤的完美决策者”。TypeSafe 用经济学家 William Stanley Jevons 的名字命名了它的 Jev 模型,正在做后续版本。CEO Diogo Almeida 对 TechCrunch 说,他还没有看到真正的竞争出现。

硬件是约束所在。苹果现在在搭载 M1 或更新芯片的 Mac 上提供一个 Foundation Model。设置好 Apple Intelligence 之后,在终端里用 fm 命令就能调用,t3n 在 10 月 2 日报道。这个模型在本地作答,不会在不同提示之间保留上下文。

研究正在探查这些系统在哪里出问题。9 月 29 日提交的一篇论文把扩散语言模型智能体里的重试循环追溯到掩码解码,提出一条无需训练的逆向打分规则,叫 Reflect Reverse,依据 arXiv 摘要。另一篇 10 月 1 日提交的论文报告说,模型排名会随智能体框架而反转。在 Terminal-Bench 4 上,Claude 在 OpenHands 里领先 GPT 7.94 分,在 PI 里却落后 30.16 分,涉及 66 种被评估的配置,作者这样写道。

国际象棋成了提示词优化的廉价试验场,用了 1118 道 Lichess 谜题,整个研究花费约 800 美元,据 9 月 30 日提交的一篇论文。作为元模型的最强被测模型 Gemini 3.5 Flash 只解出约 55% 的谜题。另一项工作里,一个基于排名的记忆控制器把提示词 token 减少了 5.9%。在 Synthetic Graph World 上,它把下半区尾部预测误差相对图记忆基线降低了 13.6%。在 LongMemEval 上,它在精度持平的情况下把 token 减少了 24.48%,据其作者。

Coop 处在这条曲线的末端:没有数据中心,没有预算科目。它的排行榜是按 token 数对验证损失拟合的,而不是按外层步数。仓库指出,单点验证损失说明不了什么,因为外层步骤让它上升的次数和下降的次数差不多。方向是整条序列的性质。相比之下,微软、AWS 和苹果的发布动辄覆盖 20亿 用户规模的市场,而 Coop 的全部算力来自志愿者。

评论 0

资料来源

8
  1. 01Coop: A small language model pretrained by volunteersEN
  2. 02Microsoft AI releases new transcription and text-to-speech models for voice agentsEN
  3. 03Amazon releases its own Jev clone as decision models flood the webEN
  4. 04Versteckter KI-Chatbot auf dem Mac: So greifst du auf Apples lokales Modell zuDE
  5. 05Does This Action Still Explain the Task? Reverse Scoring for Diffusion Language Model AgentsEN
  6. 06Finding the Right Fit: Model-Harness Interactions across Agent TasksEN
  7. 07Benchmarking Prompt Optimization of Large Language Models With ChessEN
  8. 08Heavy-Tailed Memory Traces in Long-Horizon Language AgentsEN

本文所有数字与引语均来自下列来源,未添加来源之外的内容。

本内容由编辑部在人工智能辅助下制作完成。

王雅琴

王雅琴

人工智能、模型与技术

王雅琴负责FLASH24的人工智能、模型与技术报道,覆盖科技、人工智能与模型、媒体与互联网领域。她习惯直接查阅技术文档、模型卡与官方博客,而非依赖新闻稿,对未经核实的参数和跑分数据一概不放行。每篇报道前,她会逐项核对基准测试结果,对照论文原文与开源代码,确认版本号、数据集和评测条件是否一致。她常联系开发者与研究人员求证细节,也盯着各大厂商的发布会和论文截稿日期,横向比较同类模型的实际表现。私下她自建服务、折腾家庭网络,这让她对部署成本和真实算力需求有直观判断。她的原则是:没有可复现来源的数字,不写进稿子。

编辑部 →

评论

0
  1. 还没有评论——来说两句吧。

写评论

评论公开展示。我们不发布辱骂、垃圾信息和广告内容。