开源权重,未解之问:Cloudflare 的 Clef 对阵 Jev,亚马逊和 OpenAI 也加入战局
Cloudflare 于 10 月 1 日(周四)发布了两款开源权重决策模型 Clef 和 Clef-flash。公司称这两款模型在准确率上超过 Typesafe AI 的 Jev,同时仍以 Apache 2.0 许可证提供下载。

Cloudflare 在自家博客上公布了这两款模型。The Register 于 10 月 1 日报道了这次发布,并指出 Clef 每百万 token 收费 0.24 美元,接近 Jev 每百万 0.042 美元的六倍。两款模型都托管在 Workers AI 上,并以 Apache 2.0 许可证发布在 Hugging Face。
Cloudflare 表示,Clef 基于 Qwen3.8-27B 和 Qwen3.5-9B 经过后训练并冻结的版本构建。它先跑一遍仅预填充的流程,然后并行给各个选项打分。公司称,在自家组织的测试中,Clef 在 Jev Decision Index 上领先。在 Typesafe 的四项基准中,它也赢下三项,只在智能体轨迹可观测性一项上落后。The Register 提到一个前提:这些分数由 Cloudflare 自行上报,尚未在官方 Decision Index 上复现。Clef 能处理图像和视频,支持 64000 的上下文窗口。据 The Register 报道,Jev 每次请求最多处理 64000 个 token,但它的状态加上最长单个问题被限制在 32000。
决策模型扎堆入场
Cloudflare 并不孤单。TechCrunch 在 10 月 1 日报道,亚马逊同一天发布了自己的 Jev 克隆。截至 10 月 1 日,Vercel 的 AI Gateway 将 Convai Innovations 的 Laya 列为免费的托管端点。这一推广价格将在 2026 年 10 月 31 日结束。
Sebastian Raschka 在 9 月 29 日的 Substack 文章中梳理了文本分类的历史。他解释了 Jev 为何在技术社区成为现象级产品。他认为,Jev 的卖点是通用性,而不是原始的分类质量。Typesafe 一直对 Jev 的底层架构保密,Cloudflare 则直接点名其 Qwen 主干。经济账是暗线。开源权重模型的运行成本在下降,下载也越来越容易。但 Cloudflare 自己的价格对比显示,开源权重并不自动等于便宜的推理。Clef 既是开源权重也是开源软件,可每个 token 的成本仍高于它想击败的闭源模型。
研究一侧的开源权重
本周发表的学术工作也指向同一方向。9 月 29 日提交到 arXiv 的一篇论文提出了 GoldiMask,一种面向离散扩散语言模型的微调方法。它挑选哪些 token 作为上下文揭示出来,并对剩余的预测目标加权。作者报告称,在三个主干模型和三个训练数据集的大多数评测设置中,该方法取得了最高的平均准确率。他们还提到在推理和代码生成上有提升。在置信度阈值并行解码下,他们报告 GSM8K 和 MATH-500 上的解码迭代次数更少。
第二篇论文由华盛顿大学、Meta Superintelligence Labs、MIT 和 Trillium Labs 的作者在同一天提交,提出 Context Language Models。这类模型把上下文当作一个由模型自己更新的文件。团队报告在 BrowseComp-Plus 上准确率提高 11.4%,FLOPs 减少 21.5%。他们还报告在一个 12 小时的 EdgeBench 任务上分数提高 5%,FLOPs 减少 59%。一种在线强化学习方法让 Qwen3.5-9B 在 BrowseComp-Plus 上提升 47.6%,同时 FLOPs 减少 12%。代码以 CC BY-NC 4.0 发布在 GitHub 上。
另一项工作 FLOORA 是一组用于建筑布局生成的小型领域专用模型,它报告其 6亿 参数模型胜过许多更大的前沿模型。在分布外的真实建筑上,VLM 评审胜率达到 92.0%,在合成建筑上达到 96.0%。人类评估者在 89.3% 的案例中把它评为最佳。另一篇 arXiv 论文 Dyad 给冻结的 LLM 加了一个以环境为条件的动作编码器。它报告在 ALFWorld 上使用 90亿 参数模型取得 3.80% 的平均绝对提升。
小模型,小预算
本周公布的两个社区项目检验了开源权重在没有企业资金的情况下能走多远。GitHub 上的 Coop 正在 FineWeb-Edu 上从头预训练一个约 14500万 参数的模型。它使用捐赠的消费级硬件,加上 Hugging Face 和 GitHub Actions 的免费额度。它通过 pull request 汇总伪梯度,外层步骤采用 DiLoCo 风格。维护者称,第一阶段用 1500万 参数模型在 TinyStories 上训练,已超过其 Chinchilla 最优预算。
没有服务器,没有资金,没有守护进程:整个训练循环跑在捐赠的消费级硬件上,加上 Hugging Face 和 GitHub Actions 的免费额度。
PSSA 是一个用 Rust 编写的 270亿 参数模型,底层没有 transformer,也没有机器学习框架。它使用一个循环状态空间层加一个情景记忆库。项目的 README 声称,在参数量匹配时它比 transformer 学得更快。它还声称在同一 CPU 上生成文本的速度约为后者的十二倍。它说梯度可以与标量参考路径对照校验到约 3e-8。把这些数字当作作者的说法:仓库是唯一来源,目前没有独立复现。
Inspect 是英国 AI 安全研究所和 Meridian Labs 推出的评测框架,上述多项工作都建立在它之上。其文档列出 200 多项预置评测,并支持 20 多家模型提供商。它支持通过 Docker、Kubernetes、Modal、Proxmox 和 Vagrant 进行沙箱隔离,也支持用 HuggingFace、vLLM 和 SGLang 做本地推理。
安全监管的逆流
开源权重发布之际,这一周正被执法新闻占据。《卫报》报道,加州总检察长周四向 OpenAI 发出调查传票。这是一项更广泛调查的一部分,涉及与其模型有关的网络安全事件,包括 7 月的 Hugging Face 黑客事件。据 Tom's Hardware 9 月 30 日报道,佛罗里达州总检察长 James Uthmeier 对五家 OpenAI 实体和 Sam Altman 提出临时禁令申请。该申请要求法院在没有独立第三方批准的情况下停止模型开发,此外还有其他请求。
据 Tom's Hardware 报道,英伟达在 10 月 1 日推出 Open Agent Safety Platform,可在毫秒级隔离智能体。据 CNBC 9 月 30 日报道,美国联邦贸易委员会正对 OpenAI、Anthropic 及其他实验室展开全行业调查。OpenAI 还因敏感信息处理不当与三名员工解除关系,此事最先由《华尔街日报》报道,TechCrunch 在 10 月 1 日跟进。这些都不是专门针对开源权重,但它们塑造了开源权重正在进入的市场。就在 Clef 以 Apache 2.0 发布的那一周,两家受到最严密审视的闭源实验室正在应对传票和禁令申请。
资料来源
18- 01Clef: Open-source decision models, and new RL fine-tuning platformEN
- 02Cloudflare tries to outplay Jev with open-weight Clef modelsEN
- 03Amazon releases its own Jev clone as decision models flood the webEN
- 04Free hosted API for Laya, the open-weight decision modelEN
- 05Language models for text classification: From bag-of-words to JevEN
- 06Fine-Tuning Diffusion Language Models with Context Selection and Target WeightingEN
- 07Context Language ModelsEN
- 08Context Language Models (CLMs) official repositoryEN
- 09FLOORA: A Human-Aligned Domain-Specific Language Model for Architectural DesignEN
- 10Dyad: Extending Large Language Models with Native Typed Decision-MakingEN
- 11Coop: A small language model pretrained by volunteersEN
- 12PSSA: A non-transformer language model written from scratch in RustEN
- 13Inspect: An open-source framework for large language model evaluationsEN
- 14California issues investigative subpoena to OpenAI over rogue agents' hackingEN
- 15Florida attorney general asks judge to bar OpenAI from developing new AI models without third-party approvalEN
- 16Nvidia launches Open Agent Safety Platform to physically restrain rogue AI agentsEN
- 17FTC is investigating OpenAI, Anthropic and other AI companies over product risksEN
- 18OpenAI cuts ties with 3 safety researchers, WSJ reportsEN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。