Quail 在单块 H100 上每分钟处理 10 亿 token 的 AI-SQL,比 vLLM 快 10 倍以上
9 月 30 日,Modal 与卡内基梅隆大学 Full Stack Data Lab 发布了 Quail。这是一个推理引擎,把 SQL 查询规划与 LLM 执行放在一起优化,在单块 H100 上每分钟处理超过 10 亿个 token,超过 vLLM 基线的 10 倍。

数字本身就是重点。Modal 与卡内基梅隆大学 Full Stack Data Lab 共同开发了这个引擎。据 Modal 介绍,在一个多表连接查询上,Quail 每块 H100 GPU 每分钟处理超过 10 亿个 token。按 Modal 自己的硬件价格计算,每 10 亿 token 的成本不到 6 美分。在针对 AI-SQL 查询的新基准测试中,Quail 比 vLLM 快 1.84 倍,这是各任务几何平均后的结果。
Full Stack Data Lab 在同一天发布的配套文章解释了基线错在哪里。团队在一块 H100 上运行 vLLM 0.26.0 和 Qwen3 4B FP8,测试 BIO-4 查询:这条查询用 4,144 个反应词条过滤 5,000 份医疗报告,并做两次连接。他们对该执行计划的理论最快估算为 894.37 秒,即 14.91 分钟。vLLM 实际用了 6.84 小时,是最快估算的 27.55 倍。
原因有两个。一是主机开销:CPU 在调度和跟踪请求,而 H100 处于空闲状态。二是 KV 浪费:vLLM 丢弃了之后还要用的键值缓存,因此在缩放因子为 1.0 时,这次运行做了 17460 万个 token 的无用预填充。
Quail 的解决办法是结构性的。手里有了查询计划,引擎就能有意识地安排和淘汰 KV 缓存,这是对 Hydragen 式级联注意力的一次改写;它还能把小请求合并成批,让 GPU 保持忙碌。Modal 把这一结果描述为数据库规划与推理调度不再分开处理的节点。
这对账单意味着什么
AI-SQL 是这样一种模式:在 SQL 中扩展用户自定义函数,由这些函数调用 LLM。Full Stack Data Lab 指出,Snowflake Cortex AISQL、BigQuery AI functions、Databricks AI Functions 以及最近的 MotherDuck 都支持这种做法。一次过滤意味着每一行调用一次模型。一次朴素的连接意味着每一对行调用一次。一条查询就可能产生几十万甚至几百万次调用。
在这样的背景下,整体价格情况正变得更乱,而不是更清楚。AICostBudget 的 9 月价格指数以 2026-09-30 UTC 为截止时点,覆盖 11 家供应商的 81 条公开记录。输入价格中位数为每百万 token 1.32 美元,输出价格中位数为 6 美元。缓存输入折扣的中位数为 90%,批量折扣的中位数为 50%。同一页面提醒,标价只是规划时的输入,不是最终发票。
按小时计的 GPU 原始价格同样呈现出分化。GPUAdvisor 跟踪 14 家供应商,最近一次统计在 10 月 1 日。它列出 Hyperstack 的 A4000 16GB 为每小时 0.15 美元,Lium 的 RTX 3090 为 0.22 美元,Lium 的 L40S 为 0.38 美元,并标注这一价格比 AWS 低 89%。该网站自己的总结很直接:专做 GPU 的云厂商,单卡价格比大型云厂商低 2 到 4 倍;在有检查点的训练任务上,竞价实例能省 60% 到 70%。
FitMyLLM 把每小时价格换算成每百万 token 成本,排名就反过来了。它测得最便宜的选项是 Vast.ai 上的 RTX 3060 12GB,每百万 token 0.261 美元。Vast.ai 上的 RTX 5090 是测得最快的卡,每秒 227 个 token,但每百万 token 要 0.576 美元。数据中心卡在这种单流视角下排名很差,FitMyLLM 也这么讲:H100 的价值在于同时服务多条流,只有一条流时,它的带宽大部分闲着。
底下的效率问题
能耗是下一个维度。9 月 28 日在 SOSP '26 上发表的一篇论文由 Prasoon Sinha、Dimitrios Liakopoulos、Nathan Lemma 和 Neeraja J. Yadwadkar 撰写,论文认为,单纯为 GPU 利用率做优化反而可能推高能耗。他们的系统 EnerTune 声称,在满足性能 SLO 的前提下,能耗比当前最好的基线低 1.4 到 2.3 倍,功耗低 1.3 到 2.6 倍。
并非所有厂商都在追同一条曲线。MindOn 在 9 月 30 日发布的 Mind-1 瞄准机器人推理延迟,把延迟从 82 毫秒降到 32 毫秒。这是同一个问题的另一个角落:一小时的算力究竟买到了什么。
资料来源
7- 01Hitting 1B tokens/minute on 1 GPU combining a query planner and inference engineEN
- 02Jointly optimizing SQL queries and LLM inference for up to 14x speedupsEN
- 03AI API pricing index - September 2026EN
- 04Cloud GPU Pricing - Cost Intelligence for H100, A100 & B200EN
- 05Cloud GPU prices for LLM inference - cost per million tokensEN
- 06Beyond Utilization: Energy-Conscious GPU Sharing for Inference ServingEN
- 07Mind-1: Cutting robot inference latency from 82ms to 32msEN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。