亚马逊发布开源决策模型,小型AI挤满端侧赛道
亚马逊云科技于10月1日发布Strands Decider 2B,这是一个完全开源、小到可以在本地运行的决策模型。OpenAI在同一周宣布了同类产品。

该模型出自Strands Labs,这是AWS负责智能体工具的组织。据TechCrunch 10月1日的报道,它建立在Qen3.5-2B的躯干之上。它不生成文本,而是在预先确定的选项之间做选择,并在给出选择的同时返回一个置信度指标。AWS杰出工程师Marc Brooker在看到TypeSafe的Jev之后,先做了一个自制版本。它一度在同尺寸模型的Jevbench排行榜上登顶。随后亚马逊把它整理干净并发布了出去。
决策模型不同于大多数人听到“AI模型”时想到的聊天机器人。它们接收一个状态和一组带类型的提问,返回的是一个概率,而不是一段文字。
TypeSafe AI以Jev打开了这个市场。这家旧金山实验室由前OpenAI研究员Diogo Almeida创立。InfoQ在10月1日报道,Jev每百万输入token收费0.042美元,输出不收费。它有32000 token的上下文窗口,标称端到端延迟为70ms到500ms。Vercel在第二天就把它加进了AI Gateway。Vercel表示,它在24小时内覆盖了近13%的付费团队,是GPT-5.6系列份额的两倍。
几周内就被填满的品类
TechCrunch指出,自TypeSafe提出这个想法以来,已出现数十个同类模型。这个数量有两面。它说明开发者确实有需求,他们要的是自动化形态的智能,而非前沿推理。它同时也带出一个问题:任何单个产品还能有多少差异化空间。
Brooker对TechCrunch说,吸引力在于工作流形态。他说:“最初让我对这类模型产生兴趣的,是它们非常适合做工作流中的决策者,回答‘基于我现在的位置,下一步该做什么?’”他向客户推销时的说法是,这一步“因为置信度分数、因为答案的封闭集合而更可靠,[而且]延迟更低,成本可能也更低。”
TypeSafe的首席执行官目前还不把这股浪潮当作威胁。“我明白大家觉得这是淘金热,但他们可能低估了把模型真正做聪明有多难,”Diogo Almeida对TechCrunch说。他表示,眼下他还没有看到真正的竞争出现。
悬而未决的问题是技术性的,不是商业性的。Brooker把这笔取舍说成校准问题。目标是在狭窄的决策任务上提升准确率和校准度,同时不能损害底层躯干之所以有用的通用知识和多语言能力。他还说,他不认为前沿实验室会主导这个细分领域。市场较小,做出有意思的东西成本在数百到数千美元之间。
经同行评审的证据表明,这种方法有局限。9月29日提交到arXiv的一篇论文考察了这类架构在选项集合扩大时的表现。论文题为“More Choices, Fewer Decisions: Ordinal-Scale Bias in JEV-like Direct-Decision Models”。它与9月29日另一篇更广泛的arXiv投稿“Demographic Pluralism”并列。后一篇发现,在估计人群意见分布时,等权重优于加权和逆加权聚合。它还发现,群体层面的误差随群体权重上升。
端侧这条线比决策模型更宽
同一周还出现了一批与决策打分无关的小模型工作。它们共享同一个约束:要在便宜、本地或断网的地方运行。
9月30日,一个名为Coop的GitHub项目公开。它描述的是一个约14500万参数的模型,由志愿者在FineWeb-Edu上从零开始预训练。机制并不寻常。工作者从Hugging Face仓库下载检查点,在个人数据分片上运行本地AdamW步骤。他们算出伪梯度,并作为拉取请求提交到一个公开的Hugging Face数据集仓库。一个无状态的GitHub Actions定时任务每五分钟调度一次。GitHub的共享调度器实际触发间隔从几分钟到几小时不等。任务读取检查点和开放的收件箱拉取请求,然后丢弃过期过久的提交。其余部分被裁剪并做余弦门控,进行稳健聚合,再走一步Nesterov外层更新。之后它上传新的检查点并关闭已处理的拉取请求。项目称,第一阶段在TinyStories上训练的1500万模型已完成,超出其Chinchilla最优预算。项目还称,多名志愿者在Apple Silicon和普通CPU硬件上训练了同一个外层步骤,并被平均成一次更新。一切都跑在捐赠的消费级硬件上,外加Hugging Face和GitHub Actions的免费额度。
另一篇9月28日提交的arXiv论文描述了FLOORA。作者是Sahand Rezaei-Shoshtari和16位合著者。FLOORA是一族用于建筑布局生成的小型领域专用语言模型。6亿参数模型在分布外的真实建筑上报告的VLM评审胜率最高达92.0%。在合成建筑上报告为96.0%,人工评估在89.3%的案例中将其选为最佳。作者把结果归因于token高效的领域专用语言和自定义分词。他们还提到领域预训练、监督微调,以及结合学习到的人类偏好奖励与可验证奖励的强化学习。
同样在9月29日,Fendji K. E. Jean Louis的一篇论文提出“Model as a Library”。该架构把小型、由社区注册的语音模型打包成带版本的端侧依赖,面向低资源非洲语言。说话者本人在部署现场用少量示例录音注册词汇。机制是关键词识别。它把封闭词汇的文本形式完全在端侧转换成语音形式。作者明确说明,这是一篇立场与系统设计论文,不是可运行的实现。
硬件层面的工作指向同一方向。Tom's Hardware在9月30日报道,一位使用stmonty昵称的开发者在一张RTX 3080 Ti上训练了一个约1250万参数的世界模型,用来玩《宝可梦红》。训练使用了192个数字的压缩屏幕摘要,以及横跨1000多次短运行的42382帧灰度画面。该模型建立在Yann LeCun参与合著的LeWorldModel研究之上。
小模型并不自动等于安全选项
过去72小时的两件事让一个假设变得复杂。本地设备或狭窄任务并不会自动绕开前沿系统附带的风险。
The Hacker News在10月1日的简报引用了BBC News关于Moonshot的报道。这家中国AI公司正在进行内部审查。2026年7月的一份Mindgard报告发现,其模型Kimi K2.6和K3 Swarm能绕过安全护栏并生成危险材料。这些材料包括网络攻击、恐怖袭击和暗杀的计划。同一份简报还提到Chainalysis的说法:自中国高容量开源模型发布以来,区块链死信箱激增440%。这些模型对生成恶意代码不设限制。
在前沿一侧,谷歌于9月30日发布Gemini 4 Argon。它把模型限制给一群经过审核的网络安全专家。《卫报》10月1日报道,谷歌首席AI架构师Koray Kavukcuoglu在博客中写道,“在这一水平上安全地释放前沿能力需要分阶段推进”。他写道,谷歌自愿让美国政府提前获取。CNBC同日报道,谷歌计划分阶段推出该模型,先从受信任的网络安全伙伴开始。谷歌Gemini模型产品负责人Tulsee Doshi称它是一个“极为全面”的模型,擅长长时间、多步骤的任务。
对比很鲜明。谷歌压住了一个它称为最先进的模型。与此同时,一个20亿参数的决策模型、一个14500万参数由志愿者训练的模型和一个6亿参数的架构生成器,都在同一时间窗口发布或公开。规模已不再是能力或谨慎的可靠代理指标。在本地运行模型的工具如今已足够简单,部署什么的选择正在从实验室手中滑走。
Brooker自己对这种平衡的表述,也许最能概括小模型浪潮的现状。优化快速、狭窄的任务,同时不丢掉让基础模型值得被改造的通用性。如今挤进这个品类的数十个参与者能否守住这条线,还没有人证明过。
资料来源
13- 01Amazon releases its own Jev clone as decision models flood the webEN
- 02TypeSafe AI Releases Jev: A Decision-Only Model That Returns Typed Probabilities Instead of TextEN
- 03Coop: A small language model pretrained by volunteersEN
- 04FLOORA: A Human-Aligned Domain-Specific Language Model for Architectural DesignEN
- 05Towards Model as a Library: Offline, Community-Sourced AI for Low-Resource African LanguagesEN
- 06Demographic Pluralism: Inference-Time Modeling of Pluralistic Human Preference DistributionsEN
- 07More Choices, Fewer Decisions: Ordinal-Scale Bias in JEV-like Direct-Decision ModelsEN
- 08Developer trains a small AI on a single RTX 3080 Ti gaming GPU to 'play' Pokémon RedEN
- 09ThreatsDay: AI-Powered Zero-Day Chain, 543K Live Secrets, Model Inspection RCE and 13 More StoriesEN
- 10Google rolls out new Gemini AI model but restricts access over safety concernsEN
- 11Google rolls out Gemini 4 Argon, its most advanced AI modelEN
- 12OpenAI and Synopsys team up to build an AI model that designs chips like a seasoned engineerEN
- 13Zenithon raises $10M to build world models for extreme physicsEN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。