推理引擎 Quail 单张 H100 每分钟处理 10 亿 token
9 月 30 日,两个研究团队公布了新的推理引擎结果。他们称,在相同硬件上运行 AI-SQL 查询,速度可比 vLLM 基线快十倍以上。

9 月 30 日,Modal 与卡内基梅隆大学 Full Stack Data Lab 公布了 Quail 的结果。这是一种能感知查询结构的推理层。团队称,在单个多表连接查询上,每张 H100 GPU 每分钟可处理超过 10 亿个 token,比相同硬件上的 vLLM 基线快 10 倍以上。这一说法附带了成本数字:在 Modal 上,每 10 亿 token 的花费不到 6 美分,也就是每 40亿 token 不到 6 美分这一量级的报价。
这项研究针对的是 AI-SQL,也就是 SQL 的扩展形式,允许查询逐行调用语言模型。Full Stack Data Lab 的博客举了两个例子:一个过滤器每行需要调用一次 LLM,而一个简单的连接操作,两张输入表的每一对行都要调用一次。这个计算量很快就会膨胀。在实验室称为 BIO-4 的基准查询中,5000 份医疗报告与 4144 个反应词条做连接,反应列表被用了两次。实验室写道,在单张 H100 上,vLLM 0.26.0 基线搭配 Qwen3 4B FP8,在 scale factor 1.0 下耗时 6.84 小时。他们据此计算,这相当于乐观 roofline 估算值 14.91 分钟的 27.55 倍。
实验室把差距归因于两点。
第一是主机开销:CPU 花大量时间调度请求,GPU 只能等着。第二点他们称为 KV regret,也就是 vLLM 丢弃了之后还会用到的 key 和 value 状态,结果 BIO-4 那次运行多处理了 17460 万个本不必处理的 token。
“最大的优势在于,手里有了结构化查询,你就能调整请求顺序,更好地缓存和淘汰 KV,”Modal 的博客写道。
追这个方向的不止 Quail。Y Combinator S25 公司 Magnitude 也在 9 月 30 日于 GitHub 开源了仓库,卖点不同:一个面向 agent 的开源推理引擎,在用户自己的设备上编译和调优 kernel。其 README 声称,开放模型运行速度最高可达 llama.cpp 的 2 倍,Metal 上解码快 92%,CUDA 上快 19%,每个 agent 的内存占用少 27%。它列出的目标平台包括 Apple Silicon、NVIDIA、AMD 和普通 CPU,以 Apache 2.0 许可发布。两个项目都在说同一件事:通用推理栈浪费了性能。Quail 的答案是提前知道查询结构,Magnitude 的答案是了解底层芯片。
这套说法的经济账在定价数据里看得见。AICostBudget 的 9 月指数以 9 月 30 日 UTC 为截止时点冻结,覆盖 11 家供应商的 81 条公开定价记录。在有当前输入 token 标价的 69 条记录中,价格从每 100 万 token 0.10 美元到 30 美元不等。输出价格从 0.10 美元到 180 美元。同时给出输入和输出标价的 69 条记录里,输出对输入比值的中位数是 5.0 倍。折扣和标价一样重要。在 58 条可比记录中,指数报告的缓存输入折扣中位数为 90%。在 44 条支持批处理的记录中,批处理输入折扣中位数为 50%。方法页明确说明,地区定价和协商价格不在统计范围内,这些数字是规划用的输入,不是账单。
硬件侧的研究也在往同一个方向走。9 月 28 日发表于 SOSP '26 的一篇论文介绍了 EnerTune,这是一个服务系统,用针对单个模型的性能和功耗分析模型,加上共享 GPU 上同置模型的功耗,来驱动一个能耗感知的装箱算法。作者 Prasoon Sinha、Dimitrios Liakopoulos、Nathan Lemma 和 Neeraja J. Yadwadkar 报告称,在满足性能 SLO 的前提下,能耗比当前最优基线降低 1.4 到 2.3 倍,功耗降低 1.3 到 2.6 倍。
他们的出发点是,GPU 集群的利用率仍然很低,而单纯为提高利用率做优化,可能反而推高能耗。他们指出,在大规模场景下,为每个模型在数百种配置下做性能剖析的成本高得无法承受,所以只能用估算代替实测。
最近的结果并不都出在服务栈上。MindOn 在 9 月 30 日推出 Mind-1,称这是一个物理 AI 模型,把机器人推理延迟从 82ms 降到 32ms,让操作任务的循环时间达到人类水平。公司帖子指出,在末端执行器速度 3 m/s 时,10 ms 的延迟大约相当于 3 cm 的位移,足以影响精确抓取和插入。这同样是延迟预算的论证,只是对象从数据仓库换成了机械臂。
还有一个值得注意的反向证据。Gleb Kogan 在 9 月 30 日发表的一篇文章写到,Pinecone 把基于用量的价格计算器从定价页上撤掉了。在一次 A/B 测试中,没看到计算器的访客注册比例高出 16%,联系公司的比例高出 90%,而定价相关的支持工单并没有增加。测试前的内部投票中,10 名员工里有 7 人预计带计算器的版本会赢。换句话说,成本工具在提供信息的同时也容易误导,谁把每 token 基准当成账单来读,都该留个心眼。
Quail 的数字仍是厂商自行发布的研究结果。团队为新发布的基准给出的 1.84 倍,是在各任务上做几何平均得到的,比每分钟 10 亿 token 的标题说法保守得多。基准本身包含两个查询,作者说这两个查询就是为了展示 AI-SQL 推理还有哪些地方需要改进。
资料来源
7- 01Hitting 1B tokens/minute on 1 GPU combining a query planner and inference engineEN
- 02Building an Ultra-High Throughput AI-SQL EngineEN
- 03Launch HN: Magnitude (YC S25) - Self-optimizing inference engine for agentsEN
- 04AI API Pricing Index - September 2026EN
- 05Beyond Utilization: Energy-Conscious GPU Sharing for Inference ServingEN
- 06Mind-1: Physical AI at Human Speed, Built for Real WorkEN
- 07The pricing calculator made people more confused about pricingEN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。