Quail称单张H100每分钟处理10亿token,推理成本走向分化
两款新推理引擎声称在同一套GPU硬件上把效率提高了一个数量级。与此同时,OpenAI新的500美元订阅方案和一份9月的价格快照显示,按token计价的市场仍在朝相反方向移动。

9月30日,Full Stack Data Lab发布博客,介绍Quail。这是一个专为AI-SQL打造的推理引擎。AI-SQL是SQL的扩展,让查询可以逐行调用大语言模型。团队称,在一条多表连接查询上,单张H100 GPU每分钟处理超过10亿个token。在一套全新的AI-SQL工作负载基准测试中,Quail相对vLLM的几何平均加速比为1.84倍。
这是最抓眼球的数字,也是一个范围很窄的数字。
每分钟10亿token来自单条查询,团队说这条查询“计划环节尤其重要”,它并不是平均值。作者作为一般性结果给出的,是范围更广的基准数字1.84倍。同一天,Y Combinator S25公司Magnitude发布了一款开源推理引擎。它会在模型运行之前,先针对用户自己的硬件调优内核。其GitHub README声称比llama.cpp最高快2倍,在Apple Metal上解码快92%,在CUDA上快19%,每个agent的内存占用少27%。项目以Apache 2.0许可发布,可运行在Apple Silicon、NVIDIA、AMD或纯CPU上。
这些数字实际比较的是什么
两家的说法都不是关于推理价格的普遍结论。Magnitude以通用引擎llama.cpp为基准,把优势归功于针对热门开放权重模型系列手写的内核。Quail以vLLM为基准,把优势归功于对SQL查询计划和推理引擎的联合优化。这样一来,数百万条相关的模型调用共享前缀缓存,而不是作为彼此独立的请求抵达。
Full Stack Data Lab那篇标注日期为9月24日的文章直接点出了成本问题。SQL查询里的AI函数按行计算提示词,所以一个过滤条件需要每行调用一次LLM,一次朴素的连接则需要为两个输入中每一对行各调用一次。
团队的基准查询BIO-4,把5000多份长篇医疗报告与4144个反应术语做连接。作者称,把这些调用作为独立请求发给通用引擎,成本很高。他们的做法是在查询层面做计划。Modal关于同一项工作的博客把账算得更直白:在Modal硬件上跑那条每分钟10亿token的查询,每10亿token成本不到6美分。这个数字是厂商对自己平台给出的数字,而且只覆盖一种查询形态,不代表典型工作负载。
不同的推理应用产生不同的推理工作负载,AI-SQL也不例外。像上面这样的查询,可能产生数百万条、每条数千token的序列。
订阅定价朝相反方向走
在消费端,OpenAI走的是另一个方向。据Business Insider报道,公司在周二的DevDay上宣布了每月500美元的Pro 500档,比此前最高档贵300美元。该档包含在ChatGPT Work和Codex中使用GPT-6 Astra的“Ultrafast”算力。OpenAI称这在Codex中是8倍的速度提升,同时这也是公司包含用量最高的档位。
OpenAI还重新开放了200美元的Pro方案,但把算力额度减半。
额度现在是20美元Plus方案的10倍,此前为20倍;GPT-6 Pro的聊天消息从每周200条降到100条。Codex工程负责人Thibault Sottiaux周一在X上发帖称,这些调整算下来,相当于API支出只有此前方案的一半金额。据Business Insider引用,他写道:“我想提前把这一变化告诉大家,让你们在我们带来好消息之前先弄明白它。”两个动作指向相反的方向:200美元档位每token更便宜,而最上面多了一个贵得多的档位。现有Pro订阅用户在过渡期会获得一次性抵扣。
AICostBudget在9月30日单独发布的一份快照覆盖11家供应商的81条公开价格记录。中位输入价格为每百万token 1.32美元,中位输出价格为6美元。在有输入标量的69条记录中,观察到的区间是0.10到30美元,输出为0.10到180美元。输出通常是标价中更高的部分,输出与输入的中位比值为5.0倍。
同一数据集显示,58条可比记录的中位缓存输入折扣为90%,44条记录的中位Batch输入折扣为50%。正是在这部分市场,实际价格可能与标价严重背离,而粗略的成本比较通常会漏掉这一点。
硬件、能耗与栈的其余部分
效率工作不只是每秒多少token。9月28日在SOSP '26上发表的一篇论文介绍EnerTune,这是一个服务系统。它对每个模型的功耗以及共享GPU上同置模型的功耗建模,再用能耗感知的装箱算法来放置和配置模型。作者报告称,在满足性能SLO的前提下,能耗比当前最优基线低1.4到2.3倍,功耗低1.3到2.6倍。他们的论点是,单纯追求利用率可能推高能耗,而当账单不只按token计算时,这一点很要紧。
机器人方面,MindOn在9月30日推出Mind-1,称这款物理AI模型把机器人推理延迟从82ms降到32ms。
公司指出,在末端执行器速度3 m/s的情况下,10ms延迟大约对应3cm的位移,足以影响精确抓取。这与数据中心推理是不同的市场,但约束相同:延迟和成本由整条流水线决定,而不只是模型。
电信运营商在基础设施成本上走的是类似逻辑。Light Reading在9月30日报道,StarHub与M1在新加坡进行合并谈判,两家已通过名为Antina的合资公司共享5G频谱和无线接入网。在新西兰,2degrees和OneNZ提议把各自的无线网络合并为一家共同持股的实体。文章引用Singtel在6月据报占新加坡移动市场43%的份额,M1为22%,StarHub为21%,Simba为14%,并称StarHub与M1合并后的规模将与Singtel相当。中国电信与中国联通的5G合作被列为此类共享交易中最大的一笔,覆盖150万个基站,据称节省了560亿美元资本开支。
并非每次靠增加机制来降成本的尝试都奏效。Gokul Kogan在9月30日发布的一篇文章讲述了Pinecone如何在A/B测试后撤掉基于用量的价格计算器。据文章所述,没看到计算器的访客注册的可能性高16%,联系公司的可能性高90%,而定价相关的支持工单并未增加。在一次内部投票中,十名员工里有七人预计带计算器的版本表现更好。这个教训对任何为按token计价的服务做成本估算器的人都是一个提醒:一个错了一个数量级的估算,可能直接丢掉客户。
把这些放在一起看,与其说是单一价格在下跌,不如说是一组工程押注。Quail押的是查询感知的批处理。Magnitude押的是按设备编译内核。EnerTune押的是功耗感知的放置。OpenAI在试探少数重度用户愿意为速度付多少钱,而它更便宜的档位拿到的算力比以前少。整份材料里唯一稳定的数字是账单的形状:输出token比输入贵,缓存和批量折扣很大,而任何单一基准给出的头条数字,都只描述一台机器、一天、一条查询。
资料来源
10- 01Jointly optimizing SQL queries and LLM inference for up to 14x speedupsEN
- 02Hitting 1B tokens/minute on 1 GPU combining a query planner and inference engineEN
- 03Launch HN: Magnitude (YC S25) - Self-optimizing inference engine for agentsEN
- 04ChatGPT's new plan costs $500 a monthEN
- 05AI API pricing index - September 2026EN
- 06Beyond Utilization: Energy-Conscious GPU Sharing for Inference ServingEN
- 07Mind-1: Cutting robot inference latency from 82ms to 32msEN
- 08Singapore, New Zealand operators seek partnerships to cut costsEN
- 09The pricing calculator made people more confused about pricingEN
- 10Driving An EV Now Costs Half As Much As Diesel, New Analysis ShowsEN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。