开源权重模型托管:只有B300在三成利用率以上才赚钱
userecurrence.ai发布的一份分析显示,用H200显卡托管开源权重AI模型,无论利用率多高都亏钱。同一模型在8xB300节点上以50%至70%利用率运行时,毛利率为31%至51%。

打算靠开源权重模型卖token的人,选显卡比选推理引擎更重要。8xB300节点以50%至70%利用率运行时,毛利率在31%至51%之间。H200在任何利用率下都无法回本。这些毛利能否扛住OpenRouter的价格战,目前没有答案。那里有29家供应商卖同一个模型,最低输入价为每百万token 0.056美元,多数供应商约为0.30美元。
盈利测试怎么做的
这份分析由userecurrence.ai发布。测试固定同一个模型、同一种流量结构、同一个速度承诺、同一个价格和同一份租金,只更换显卡。H200即使满负荷也亏钱。B300利用率到35%就开始赚钱。
测试用DeepSeek V4.1 Flash,承诺每个用户每秒输出100个token,对照公开的GPU租用价格。流量取自SemiAnalysis的AgentX负载:393个回放的Claude Code会话。输入中位数为142000个token,输出中位数为444个,约95%的输入由缓存提供。一派认为DeepSeek每GPU小时赚38美元,另一派认为OpenRouter上的玩家全都在亏钱。分析认为,两派量的是不同的东西。
为什么显卡比引擎更要紧
开源推理引擎已经不再是短板。vLLM和SGLang都达到生产级水平,DeepSeek也开源了自己API背后的引擎DeepInfer。2026年10月,vLLM团队在同一硬件上复现了DeepInfer的解码吞吐,差距在6%以内。
所以引擎已经是解决了的问题,无论你从哪条路拿到它。分析认为,自己手写的引擎也能达到同一水平。真正决定赚还是亏的,是你租的硬件以及把它填得多满。速度门槛很严:每个用户每秒输出100个token,而OpenRouter供应商的中位数约为35个。
价格战已经把模型的价格压到成本线以下
OpenRouter上列着29家供应商卖同一个DeepSeek V4.1 Flash。最便宜的报价是每百万输入token 0.056美元,多数供应商约为0.30美元,分析称这个价格怎么算都低于成本。用量和收入已经脱钩:V4的token量在2026年上半年大约翻了一倍,而它在支出中的份额几乎没有变化。
10月19日至25日那一周,DeepSeek V4.1 Flash拿下了OpenRouter全部token的约30%,以很大差距位居开源权重模型第一。这些流量不是聊天机器人。智能体流量是人类流量的7倍,约87%的token由缓存提供。
开源当作分发渠道
同一套逻辑贯穿开源生意的其余部分。2026年10月,NVIDIA把整个HeavyAI平台以Apache 2.0协议开源,包括Immerse可视化界面、HeavyRF和HeavyConnect。此前该仓库长期只放着一个功能受限的开源版核心HeavyDB。
在别处,开源充当营销手段。Higgsfield表示将开源其平台,ComfyUI则开启为期两周的黑客松,重做它最受欢迎的应用。总冠军奖金为1万美元,提交已于11月3日截止。CaseCite是一个以Apache 2.0协议发布的自托管法律研究平台,定位为对Harvey的开源替代,后者为法律AI融资5亿美元。文档、搜索索引和聊天记录都留在运营方自己的服务器上,AI功能使用运营方自己的API密钥运行。
买方也在往同一方向推。企业AI团队现在产出的代码多到自己评估不过来,瓶颈因此落在审查、安全和治理上,而不是生成环节。
接下来会发生什么
ComfyUI将于11月10日公布黑客松获奖者。HeavyAI的完整平台现已按Apache 2.0协议提供。CaseCite 1.3.0及更早版本仍采用Elastic License 2.0,当前版本改用Apache 2.0。OpenRouter价格持续下跌时B300的毛利能否守住,仍是悬而未决的问题。
资料来源
28- 01Is hosting an open-source inference engine profitable?EN
- 02HeavyAI (formerly MapD) is now open sourceEN
- 03Comfy hackathon: open-source Higgsfield's platformEN
- 04Harvey raised 500M for legal AI, I built the same and open sourced itEN
- 05Open Source or Custom in Enterprise AI Systems?EN
- 06Bug hunters can now earn up to $172,000 from OpenAI as company ramps up securityEN
- 07Architect creates open source replacement for VM migration toolEN
- 08OpenSc3k – SimCity 3000 Open SourceEN
- 09PixelLoupe 1.3 – free, open source Lightroom replacement for macOSEN
- 10 8 converted jet engines are powering xAI data centers as companies look for new energy sources EN
- 11On-device and open source Whisper dictationEN
- 12Cisco open sources tool for detecting AI agents on hacking spreesEN
- 13OpenAI says GPT-6 Astra designed a hardware device from scratch in under a weekEN
- 14OpenAI hires former US Army Secretary Dan Driscoll for national securityEN
- 15 OpenAI considers rebranding data centers to 'AI compute campuses" as data center backlash intensifies EN
- 16Open Coaster: an open source web/mobile RollerCoaster Tycoon cloneEN
- 17Friday: Run Claude Code and Codex as a crew on your computer (open source)EN
- 18Stringman, an $800 open-source room scale gripper robotEN
- 19Apple restricts dating apps and AI companions to users 18 and upEN
- 20Octomind – open-source AI harness that saves your tokens, static rustEN
- 21OpenAI hires ex-Army Secretary, gaining bipartisan reach just as midterms loomEN
- 22Vitroscope raises $7M to turn living human tissue into a new source of drug discovery dataEN
- 23Nvidia – open-source auto-ontologyEN
- 24Open-Source 5G Ran Platforms: A Dual Perspective on Performance and CapabilitiesEN
- 25OpenAI hires former U.S. Army Secretary Dan Driscoll for national security roleEN
- 26Medo: A modern UHD 4K open source Media editor for Haiku OS in less than 1.44MBEN
- 27On Bazel and Open Source (2015)EN
- 28Zero Breach Toolkit, open source tool capable of detecting Israeli spywareEN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。