小模型,大口气:志愿者训练Coop,谷歌推出受限的Gemini 4
一个由志愿者用捐赠硬件预训练的145百万参数模型于9月30日上线。同一周,谷歌将其最先进的模型只开放给经过审核的网络安全合作伙伴,亚马逊则开源了一个20亿参数的决策模型。

9月30日发布在GitHub上的项目Coop称,它正在FineWeb-Edu上预训练一个约145百万参数的语言模型。没有服务器,没有资金,没有守护进程。
项目的README写道,训练跑在捐赠的消费级硬件上,再加上Hugging Face和GitHub Actions的免费额度。机制才是重点:志愿者下载一个检查点,在个人数据分片上跑几步本地AdamW,然后把一个伪梯度作为pull request提交到公开的Hugging Face数据集仓库。接着GitHub Actions的定时任务读取检查点和开放的pull request,丢弃过期的提交,对其余的做裁剪和筛选,用截尾均值或几何中位数聚合,走一步Nesterov,上传新检查点并关闭已处理的PR。Coop称这个循环是经过生产验证的,不是设计出来的。
多名志愿者在Apple Silicon和纯CPU机器上训练了同一个外层步骤,并把它平均成了一次更新。与一次tick撞车的提交会在下一步被接受,陈旧度权重相应降低。同一用户的重复轮次会合并成一票。“coop stop”会把半完成的轮次冲刷掉,而不是丢弃。
项目在评估上很谨慎。每次tick用固定种子在固定的留出切片上给新检查点打分,这样步骤之间的变化反映的是模型本身,而不是评估采样,并把一个点追加到账本文件。README指出,单次验证损失说明不了什么:外层步骤让它上升和下降的次数差不多,所以排行榜拟合的是损失对token的斜率,而不是对外层步骤的斜率。
前沿实验室走的是另一条路
与商业实验室的对比很鲜明。Alphabet于9月30日发布Gemini 4 Argon,称其为自家最先进的模型。CNBC报道说,它先只向部分网络安全合作伙伴推出。《卫报》10月1日报道,谷歌以滥用风险为由不向公众开放该模型,并引用了谷歌首席AI架构师Koray Kavukcuoglu的话:“在这个水平上安全地释放前沿能力,需要分阶段推进。”谷歌Gemini模型产品负责人Tulsee Doshi对CNBC说,以这种方式启动推出“给了我们更多信心,也让我们能尽快把一个在网络安全防御上训练有素的模型交到防御者手中”。谷歌称,Argon在网络安全的基准测试上与OpenAI的GPT-6 Astra和Grok 4.7持平,在Vals指数上领先。谷歌还说,该模型已在内部用于优化数据中心内存,释放了数百TB。
小而开放、本地运行是另一极。TechCrunch 10月1日报道,AWS发布了Strands Decider 2B,这是一个开源决策模型,基于Qwen3.5-2B的躯干构建,返回的是经过校准的选择,而不是文本。亚马逊杰出工程师Marc Brooker对TechCrunch说,这个模型来自与客户的对话,提供的是“一个可以结构化的工作流步骤,因为有置信度分数、因为答案的封闭域,所以更可靠,延迟更低,成本也可能更低”。
“我明白人们觉得这是一场淘金热,但他们可能低估了让模型真正变聪明有多难,”TypeSafe首席执行官Diogo Almeida对TechCrunch说。
TypeSafe的Jev是一个参照点。InfoQ 10月1日报道,Jev返回带类型的概率决策,输入定价为每百万token 0.042美元,输出免费,上下文窗口为32000个token,端到端延迟标称70ms到500ms。Vercel称,Jev在24小时内覆盖了近13%的付费团队,是GPT-5.6系列份额的两倍。OpenChamber对12759条发布推文的分析显示,用户报告的速度提升中位数为7倍,而宣传的头条数字是193.6倍;成本节省的中位数为30倍。
安全是最尴尬的部分
便宜、本地的模型也意味着便宜、本地的提取。OpenAI在9月30日的一篇博客中说,它阻断了一场“对抗性蒸馏”行动。该行动始于7月1日,在7月24日和25日两天冲到来自4000多名用户的16000次请求,到7月28日被完全关停。CNBC报道说,OpenAI把一个核心集群与同中国Moonshot AI(Kimi的开发者)有关联的人联系起来,并且运营者没有攻破加密、数据库或已存储的对话。
The Register在9月30日指出,OpenAI自己就训练于海量网络内容之上,而Anthropic的Claude Opus 5.5带有一种名为“preserved thinking”的蒸馏防御。The Decoder 10月1日报道,同样的手法在微软Azure上连续数周奏效,并引用了研究员Joachim Schaeffer的话,他在X上写道:“我们又偷了一次推理。”
与此同时,硬件还在不断缩小。Tom's Hardware 9月30日报道,一位使用“stmonty”这个网名的开发者在一张RTX 3080 Ti上训练了一个约12.5百万参数的世界模型,用来玩《宝可梦红》。模型通过预测下一屏的192个数值压缩摘要来学习按键功能,训练数据是42382帧灰度画面。Ideogram则在10月1日表示,Ideogram 4.5提供四档质量,原生2K分辨率下每张图0.8到22美分,开放权重的版本即将发布。
资料来源
11- 01Coop: A small language model pretrained by volunteersEN
- 02Google rolls out Gemini 4 Argon, its most advanced AI modelEN
- 03Google rolls out new Gemini AI model but restricts access over safety concernsEN
- 04Amazon releases its own Jev clone as decision models flood the webEN
- 05TypeSafe AI Releases Jev: A Decision-Only Model That Returns Typed Probabilities Instead of TextEN
- 06OpenAI says actors linked to China-based Moonshot AI spearheaded a campaign to extract its models' hidden reasoningEN
- 07AI race heats up as OpenAI flags alleged model-copying campaignEN
- 08Irony alert: OpenAI whines that Chinese model stole its special IP that it stole from everybody elseEN
- 09OpenAI says it stopped a campaign to steal its models' reasoning, but the trick still worked on AzureEN
- 10Developer trains a small AI on a single RTX 3080 Ti gaming GPU to 'play' Pokémon RedEN
- 11Ideogram says its new model can edit part of an image without messing up the restEN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。