跳到正文
世界时间EU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

关于人工智能与技术的门户事件 · 分析 · 访谈 · 技术背景

搜索
直播
›

Quail 在单块 H100 上每分钟处理 10 亿 token 的 AI-SQL,比 vLLM 快 10 倍以上

9 月 30 日,Modal 与卡内基梅隆大学 Full Stack Data Lab 发布了 Quail。这是一个推理引擎,把 SQL 查询规划与 LLM 执行放在一起优化,在单块 H100 上每分钟处理超过 10 亿个 token,超过 vLLM 基线的 10 倍。

人工智能与模型分析王雅琴发布: 2026年9月30日3 分钟阅读资料来源 7
Quail 在单块 H100 上每分钟处理 10 亿 token 的 AI-SQL,比 vLLM 快 10 倍以上

数字本身就是重点。Modal 与卡内基梅隆大学 Full Stack Data Lab 共同开发了这个引擎。据 Modal 介绍,在一个多表连接查询上,Quail 每块 H100 GPU 每分钟处理超过 10 亿个 token。按 Modal 自己的硬件价格计算,每 10 亿 token 的成本不到 6 美分。在针对 AI-SQL 查询的新基准测试中,Quail 比 vLLM 快 1.84 倍,这是各任务几何平均后的结果。

Full Stack Data Lab 在同一天发布的配套文章解释了基线错在哪里。团队在一块 H100 上运行 vLLM 0.26.0 和 Qwen3 4B FP8,测试 BIO-4 查询:这条查询用 4,144 个反应词条过滤 5,000 份医疗报告,并做两次连接。他们对该执行计划的理论最快估算为 894.37 秒,即 14.91 分钟。vLLM 实际用了 6.84 小时,是最快估算的 27.55 倍。

原因有两个。一是主机开销:CPU 在调度和跟踪请求,而 H100 处于空闲状态。二是 KV 浪费:vLLM 丢弃了之后还要用的键值缓存,因此在缩放因子为 1.0 时,这次运行做了 17460 万个 token 的无用预填充。

Quail 的解决办法是结构性的。手里有了查询计划,引擎就能有意识地安排和淘汰 KV 缓存,这是对 Hydragen 式级联注意力的一次改写;它还能把小请求合并成批,让 GPU 保持忙碌。Modal 把这一结果描述为数据库规划与推理调度不再分开处理的节点。

这对账单意味着什么

AI-SQL 是这样一种模式:在 SQL 中扩展用户自定义函数,由这些函数调用 LLM。Full Stack Data Lab 指出,Snowflake Cortex AISQL、BigQuery AI functions、Databricks AI Functions 以及最近的 MotherDuck 都支持这种做法。一次过滤意味着每一行调用一次模型。一次朴素的连接意味着每一对行调用一次。一条查询就可能产生几十万甚至几百万次调用。

在这样的背景下,整体价格情况正变得更乱,而不是更清楚。AICostBudget 的 9 月价格指数以 2026-09-30 UTC 为截止时点,覆盖 11 家供应商的 81 条公开记录。输入价格中位数为每百万 token 1.32 美元,输出价格中位数为 6 美元。缓存输入折扣的中位数为 90%,批量折扣的中位数为 50%。同一页面提醒,标价只是规划时的输入,不是最终发票。

按小时计的 GPU 原始价格同样呈现出分化。GPUAdvisor 跟踪 14 家供应商,最近一次统计在 10 月 1 日。它列出 Hyperstack 的 A4000 16GB 为每小时 0.15 美元,Lium 的 RTX 3090 为 0.22 美元,Lium 的 L40S 为 0.38 美元,并标注这一价格比 AWS 低 89%。该网站自己的总结很直接:专做 GPU 的云厂商,单卡价格比大型云厂商低 2 到 4 倍;在有检查点的训练任务上,竞价实例能省 60% 到 70%。

FitMyLLM 把每小时价格换算成每百万 token 成本,排名就反过来了。它测得最便宜的选项是 Vast.ai 上的 RTX 3060 12GB,每百万 token 0.261 美元。Vast.ai 上的 RTX 5090 是测得最快的卡,每秒 227 个 token,但每百万 token 要 0.576 美元。数据中心卡在这种单流视角下排名很差,FitMyLLM 也这么讲:H100 的价值在于同时服务多条流,只有一条流时,它的带宽大部分闲着。

底下的效率问题

能耗是下一个维度。9 月 28 日在 SOSP '26 上发表的一篇论文由 Prasoon Sinha、Dimitrios Liakopoulos、Nathan Lemma 和 Neeraja J. Yadwadkar 撰写,论文认为,单纯为 GPU 利用率做优化反而可能推高能耗。他们的系统 EnerTune 声称,在满足性能 SLO 的前提下,能耗比当前最好的基线低 1.4 到 2.3 倍,功耗低 1.3 到 2.6 倍。

并非所有厂商都在追同一条曲线。MindOn 在 9 月 30 日发布的 Mind-1 瞄准机器人推理延迟,把延迟从 82 毫秒降到 32 毫秒。这是同一个问题的另一个角落:一小时的算力究竟买到了什么。

评论 0

资料来源

7
  1. 01Hitting 1B tokens/minute on 1 GPU combining a query planner and inference engineEN
  2. 02Jointly optimizing SQL queries and LLM inference for up to 14x speedupsEN
  3. 03AI API pricing index - September 2026EN
  4. 04Cloud GPU Pricing - Cost Intelligence for H100, A100 & B200EN
  5. 05Cloud GPU prices for LLM inference - cost per million tokensEN
  6. 06Beyond Utilization: Energy-Conscious GPU Sharing for Inference ServingEN
  7. 07Mind-1: Cutting robot inference latency from 82ms to 32msEN

本文所有数字与引语均来自下列来源,未添加来源之外的内容。

本内容由编辑部在人工智能辅助下制作完成。

王雅琴

王雅琴

人工智能、模型与技术

王雅琴负责FLASH24的人工智能、模型与技术报道,覆盖科技、人工智能与模型、媒体与互联网领域。她习惯直接查阅技术文档、模型卡与官方博客,而非依赖新闻稿,对未经核实的参数和跑分数据一概不放行。每篇报道前,她会逐项核对基准测试结果,对照论文原文与开源代码,确认版本号、数据集和评测条件是否一致。她常联系开发者与研究人员求证细节,也盯着各大厂商的发布会和论文截稿日期,横向比较同类模型的实际表现。私下她自建服务、折腾家庭网络,这让她对部署成本和真实算力需求有直观判断。她的原则是:没有可复现来源的数字,不写进稿子。

编辑部 →

评论

0
  1. 还没有评论——来说两句吧。

写评论

评论公开展示。我们不发布辱骂、垃圾信息和广告内容。