推理成本分成两笔账:每 token 更便宜,每块 GPU 更贵
Y Combinator S25 孵化公司 Magnitude 于 9 月 30 日发布开源推理引擎。公司称,在 Apple Silicon、NVIDIA、AMD 或普通 CPU 上运行开放模型,速度比 llama.cpp 快至多 2 倍,且不产生 token 费用。同一天,一份覆盖 81 条公开价格记录的指数显示,输出价格中位数为每 100万 tokens 6 美元,输入为 1.32 美元。

Magnitude 的代码库于 9 月 30 日上线。做法很直接:模型运行之前,引擎先在你的设备上编译并调优内核,而不是为一大类硬件预先编译二进制文件。公司报告称,在 Metal 上解码比 llama.cpp 快 92%,在 CUDA 上快 19%;每个 agent 占用的内存少 27%,agent 停止后即释放。许可证为 Apache 2.0。
这是对成本问题的一种回答:不再按 token 付费。
但它不是唯一的答案,也不是本周其余材料指向的那个答案。Quail 是 DocETL 背后的 Full Stack Data Lab 团队打造的推理引擎,盯的是账单的另一半。作者认为,AI-SQL 查询每行或每对行就要调用一次 LLM,通用引擎在这类场景下表现很差。他们写道,把海量彼此相关的模型调用当作独立请求发给 vLLM,代价很高。Quail 的做法是把查询规划和推理放在一起做。
数字很具体。在一个规划最吃重的多表连接查询上,Quail 在单块 H100 GPU 上每分钟处理超过十亿 tokens。团队称,这比同硬件上 vLLM 的基线快 10 倍以上。在 Modal 上折算下来,每十亿 tokens 不到 6 美分。在团队自己的 AI-SQL 基准上,提升要小一些:几何平均后比 vLLM 快 1.84 倍,其中包含两个他们专门设计来暴露 AI-SQL 推理短板的查询。
每 token 价格不是全部账单
AICostBudget 的 9 月指数以 9 月 30 日 UTC 为截止点冻结,覆盖 11 家供应商的 81 条公开价格记录。在 69 条带有当前输入 token 单价的记录中,价格区间为每 100万 tokens 0.10 到 30 美元。输出为 0.10 到 180 美元。输入价格中位数是 1.32 美元,输出中位数是 6 美元。在同时给出两者的 69 条记录上,比值为 5.0 倍。
各家供应商的中位数差距很大。OpenAI 的 18 条输入记录和 18 条输出记录,中位数分别为 2 美元和 11 美元。Google Gemini 各有 14 条,中位数为 0.75 美元和 4.125 美元。Anthropic 的 13 条记录中位数为 5 美元和 25 美元。xAI 的 9 条为 1.25 美元和 2.50 美元,Mistral 的 7 条为 0.20 美元和 0.60 美元,DeepSeek 的 3 条为 0.30 美元和 1.20 美元。
指数还标出了简单对比容易漏掉的东西。在 58 条可比记录上,缓存输入折扣的中位数为 90%;在 44 条支持 Batch 的记录上,Batch 输入折扣中位数为 50%。报告自己的说法很直接:忽略缓存和 Batch 定价的工作负载对比,等于漏掉了大量被跟踪记录已公开的省钱模式。报告还补充说,文档页数、存储、会话时长等按时间计价的单位无法安全地压进一张只有 token 的表里。对任何想搭一张单一每 token 成本排行榜的人来说,这话值得记下。
这些定价数据是一个快照,不是市场出清价。GPU 产能正在另一条线上变动。
GPU 的钱花到哪里去了
Business Insider 9 月 30 日报道,OpenAI 在周二的 DevDay 上宣布了每月 500 美元的 ChatGPT 档位,比公司此前最贵的方案高出 300 美元。该档位为 ChatGPT Work 和 Codex 中的 GPT-6 Astra 提供“Ultrafast”算力。OpenAI 称,这在 Codex 上是 8 倍提速,并包含公司最高的额度。Business Insider 还报道,OpenAI 重新开放每月 200 美元的 Pro 方案,同时把算力额度砍半,从 20 倍于每月 20 美元的 Plus 方案降到 10 倍,并把 GPT-6 Pro 的每周聊天消息数从 200 条减到 100 条。Codex 工程负责人 Thibault Sottiaux 在周一的 X 帖子里说,这些调整折算下来,API 支出是此前方案的一半。
硬件这一侧,9 月 28 日发表的 SOSP '26 论文由 Prasoon Sinha、Dimitrios Liakopoulos、Nathan Lemma 和 Neeraja J. Yadwadkar 撰写,其论点与惯用的利用率指标相悖。GPU 很贵,推理集群却仍然大量闲置,于是系统采用多路复用。但作者写道,只盯着利用率优化,反而可能推高能耗。他们的系统 EnerTune 把每个模型的性能和功耗分析模型放进一个能耗感知的装箱算法,其中也包括共享 GPU 上同驻模型的功耗。报告称,在满足性能 SLO 的前提下,能耗比当前最优基线低 1.4 到 2.3 倍,功耗低 1.3 到 2.6 倍。
这是一个关于多数 token 价格表都不显示的那笔账的成本主张。
机器人领域在另一个场景里玩同一套。MindOn 于 9 月 30 日发布的 Mind-1 把推理延迟从 82ms 降到 32ms,依据是公司自己的说明。帖子解释了这件事为什么重要:末端执行器速度为 3 m/s 时,10ms 延迟大约对应 3cm 的位移,足以影响精确抓取、插入或接触密集的操作。MindOn 还提到训练数据的节奏,认为遥操作演示比自然人体动作慢,而模型会把节奏连同任务一起学进去。
两笔账单,两种策略
Pinecone 在一款价格计算器上的经历由 Gabriel Kogan 于 9 月 30 日讲述。它提醒人们:客户看到的价格数字本身就是产品决策。那款计算器因为一处误读,给出的估价最高夸大了 1000 倍,还让用户产生虚假的信心,不再去查文档。公司做 A/B 测试、把它去掉后,没看到计算器的访客注册率高出 16%,联系公司的比例高出 90%,而价格相关的客服工单没有增加。在一次内部投票中,每 10 名员工里有 7 人认为带计算器的版本表现会更好。
另外两个数据点不在 AI 栈里,但框定的是同一个论点:用资本替代燃料。CleanTechnica 于 9 月 29 日分析称,Transport & Environment 表示电动车司机每公里付出的费用不到柴油车司机的一半。依据是柴油 6.9 L/100 km、纯电 20.2 kWh/100 km,以及每 kWh 0.343 欧元的电价。该组织的 Antony Froggatt 说,柴油车司机每箱油比年初多付 32 欧元,其中约 16 欧元来自炼油利润率的上涨。
Light Reading 9 月 30 日报道,StarHub 与 M1 在新加坡进行合并谈判,合并后的实体规模大致与 Singtel 相当;新西兰的 2degrees 与 OneNZ 也提议合并各自的无线网络。中国电信与中国联通的 5G 共建共享是此类交易中最大的一笔,覆盖 150万 个基站,号称节省了 560亿 美元资本开支。这些都不是 AI 推理。但它们都是同一笔交易:共享固定资产,压低边际成本。
对买家来说,当下的分界已经清楚。公开价目表上的每 token 价格在下降,缓存和 Batch 模式让它降得更多。每 GPU 小时成本是另一个市场,而本周的研究表明,其中大部分仍被浪费。Magnitude 的本地内核和 Quail 的查询规划器都解决不了这一点。它们只是把计价器挪了个位置。
资料来源
10- 01Launch HN: Magnitude (YC S25) – Self-optimizing inference engine for agentsEN
- 02Hitting 1B tokens/minute on 1 GPU combining a query planner and inference engineEN
- 03Jointly optimizing SQL queries and LLM inference for up to 14x speedupsEN
- 04AI API pricing index - September 2026EN
- 05ChatGPT's new plan costs $500 a monthEN
- 06Beyond Utilization: Energy-Conscious GPU Sharing for Inference ServingEN
- 07Mind-1: Cutting robot inference latency from 82ms to 32msEN
- 08The pricing calculator made people more confused about pricingEN
- 09Driving An EV Now Costs Half As Much As Diesel, New Analysis ShowsEN
- 10Singapore, New Zealand operators seek partnerships to cut costsEN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。