Quail称单张H100每分钟处理10亿token,GPU价格追踪赛道愈发拥挤
Modal与卡内基梅隆大学Full Stack Data Lab表示,他们的Quail引擎在单张H100上把一条多表连接AI-SQL查询推到每分钟超过10亿token,是他们vLLM基线的10倍以上。这一结果发表于9月30日。

这个数字带着价签:据公司博客,在Modal上每10亿token不到6美分。这类数字决定AI-SQL是被部署还是被悄悄搁置,因为对一百万行做一次过滤,就是一百万次模型调用。
两个瓶颈,两种解法
Full Stack Data Lab自己在9月24日发布的文章用数据库的语言描述问题。一条把5000份医疗报告与4144个反应术语做连接的查询,会展开成数百万个独立的推理请求。用vLLM 0.26.0、Qwen3 4B FP8在单张H100上逐个跑,耗时6.84小时。作者算过,这是他们roofline估计值894.37秒(即14.91分钟)的27.55倍。他们指出两个原因:一是主机开销,CPU在调度请求时H100处于空闲;二是KV regret,引擎丢弃了之后还要用到的键值状态。在该基准的规模因子1.0下,vLLM处理了17460万个本不必处理的token。
Quail的做法是在执行前先看查询计划。知道连接的结构,就能调整请求顺序,让共享前缀留在缓存里,也能把通用引擎视为互不相关的任务合批处理。Modal的文章称这是对Hydragen式级联注意力的改进。两个团队都说,项目由Modal的推理研究人员与CMU的数据库团队合作完成。
放到整个基准上,数字就小得多:几何平均比vLLM快1.84倍,其中还包括两条作者专门构造、用来暴露AI-SQL推理目前仍会失败的查询。
底下的价格数据
成本结论的分量取决于一个GPU小时本来值多少钱,而这个数字现在每周都在变。GPUAdvisor追踪14家供应商,列出Hyperstack的A4000 16GB为每小时0.15美元,Lium的RTX 3090为0.22美元、L40S为0.38美元,RunPod的RTX A5000按需0.27美元,共享Community Cloud档为0.16美元。该页面最后追踪于10月1日,直言GPU定价已不再是一张稳定的查询表。
FitMyLLM从token一侧切入同一个问题,认为没有吞吐量数字,小时费率说明不了什么。它的实时表格每三分钟从供应商API读取一次费率,按单流下每百万输出token的成本排序。Vast.ai的RTX 3060报价最便宜,每百万token 0.261美元;Vast.ai上的RTX 5090为每秒227个token、每百万0.576美元。网站明确说,数据中心卡在这个指标上排名靠后是设计使然,因为H100或H200靠同时服务多条流来挣回价格,并说明这些行是估算而非实测。
“市场价格是某个主机的挂牌,不是公开费率:它可能消失,主机也可能把卡跑在出厂功耗上限以下,损失的速度不会体现在价格里。”
对买API而不是租GPU的人来说,AICostBudget的9月指数以2026-09-30为截止日,冻结了11家供应商的81条公开记录。输入价格中位数为每百万token 1.32美元,输出中位数6美元,输出与输入之比的中位数为5.0倍。缓存输入的记录中位折扣为90%,Batch定价的记录中位折扣为50%,分别有58条和44条可比行。该指数明确提醒,其供应商中位数不是按用量加权的市场价格,也没有声称全行业出现了年度下降。
效率问题向上层转移
能耗是下一个账目。Prasoon Sinha、Dimitrios Liakopoulos、Nathan Lemma和Neeraja J. Yadwadkar于9月28日在SOSP '26上发表的一篇论文认为,单纯为GPU利用率做优化反而可能推高能耗。他们的系统EnerTune在能耗感知的装箱算法里,使用每个模型性能与功耗的分析模型,其中包含共享GPU上同置模型的功耗。作者报告说,与最先进的基线相比,他们在满足性能SLO的同时把能耗降低1.4倍到2.3倍,功耗降低1.3倍到2.6倍。在规模化场景下逐一剖析每种配置本身太贵,所以这些模型是分析式的,不是实测的。
端侧推理从另一端提出同样的主张。YC S25公司Magnitude于9月30日在Hacker News发帖,以Apache 2.0发布开源引擎,在模型运行前先在用户自己的硬件上编译并调优内核。其README声称比llama.cpp最多快2倍,Metal上解码快92%,CUDA上快19%,每个agent的内存占用少27%。没有token成本,数据不出机器。代价是它在你自己的GPU上跑开源模型,而不是在别人的机器上跑前沿模型。
买家该看什么
这份材料里有三个数字指向不同方向。Quail平均1.84倍的加速是真的,但放在每分钟10亿token的标题旁边并不算大,作者自己也这么说。FitMyLLM测到的最便宜费率是每百万token 0.261美元,落在一张多数生产团队不会部署的消费级卡上。AICostBudget的输出价格中位数是每百万token 6美元,反映的是标价,而不是大多数大负载实际支付的缓存价或批量价。
实际的解读是:按GPU小时计价现在已是同质化比较,差异转移到了每美元吞吐、缓存行为和能耗上。Quail的作者说得很明确,这只是开始,不是终点。他们要的正是基准自己给不出的东西:来自大规模运行AI-SQL团队的真实负载。
资料来源
7- 01Quail: Speeding up AI-SQL by jointly optimizing query planner and inference engineEN
- 02Building an Ultra-High Throughput AI-SQL EngineEN
- 03Cloud GPU Pricing — Cost Intelligence for H100, A100 & B200EN
- 04Cloud GPU prices for LLM inference — cost per million tokensEN
- 05AI API Pricing Index — September 2026EN
- 06Beyond Utilization: Energy-Conscious GPU Sharing for Inference ServingEN
- 07Launch HN: Magnitude (YC S25) – Self-optimizing inference engine for agentsEN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。