跳到正文
世界时间EU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

关于人工智能与技术的门户事件 · 分析 · 访谈 · 技术背景

搜索
直播
›

推理引擎 Quail 单张 H100 每分钟处理 10 亿 token

9 月 30 日,两个研究团队公布了新的推理引擎结果。他们称,在相同硬件上运行 AI-SQL 查询,速度可比 vLLM 基线快十倍以上。

人工智能与模型新闻王雅琴发布: 2026年9月30日4 分钟阅读资料来源 7
推理引擎 Quail 单张 H100 每分钟处理 10 亿 token

9 月 30 日,Modal 与卡内基梅隆大学 Full Stack Data Lab 公布了 Quail 的结果。这是一种能感知查询结构的推理层。团队称,在单个多表连接查询上,每张 H100 GPU 每分钟可处理超过 10 亿个 token,比相同硬件上的 vLLM 基线快 10 倍以上。这一说法附带了成本数字:在 Modal 上,每 10 亿 token 的花费不到 6 美分,也就是每 40亿 token 不到 6 美分这一量级的报价。

这项研究针对的是 AI-SQL,也就是 SQL 的扩展形式,允许查询逐行调用语言模型。Full Stack Data Lab 的博客举了两个例子:一个过滤器每行需要调用一次 LLM,而一个简单的连接操作,两张输入表的每一对行都要调用一次。这个计算量很快就会膨胀。在实验室称为 BIO-4 的基准查询中,5000 份医疗报告与 4144 个反应词条做连接,反应列表被用了两次。实验室写道,在单张 H100 上,vLLM 0.26.0 基线搭配 Qwen3 4B FP8,在 scale factor 1.0 下耗时 6.84 小时。他们据此计算,这相当于乐观 roofline 估算值 14.91 分钟的 27.55 倍。

实验室把差距归因于两点。

第一是主机开销:CPU 花大量时间调度请求,GPU 只能等着。第二点他们称为 KV regret,也就是 vLLM 丢弃了之后还会用到的 key 和 value 状态,结果 BIO-4 那次运行多处理了 17460 万个本不必处理的 token。

“最大的优势在于,手里有了结构化查询,你就能调整请求顺序,更好地缓存和淘汰 KV,”Modal 的博客写道。

追这个方向的不止 Quail。Y Combinator S25 公司 Magnitude 也在 9 月 30 日于 GitHub 开源了仓库,卖点不同:一个面向 agent 的开源推理引擎,在用户自己的设备上编译和调优 kernel。其 README 声称,开放模型运行速度最高可达 llama.cpp 的 2 倍,Metal 上解码快 92%,CUDA 上快 19%,每个 agent 的内存占用少 27%。它列出的目标平台包括 Apple Silicon、NVIDIA、AMD 和普通 CPU,以 Apache 2.0 许可发布。两个项目都在说同一件事:通用推理栈浪费了性能。Quail 的答案是提前知道查询结构,Magnitude 的答案是了解底层芯片。

这套说法的经济账在定价数据里看得见。AICostBudget 的 9 月指数以 9 月 30 日 UTC 为截止时点冻结,覆盖 11 家供应商的 81 条公开定价记录。在有当前输入 token 标价的 69 条记录中,价格从每 100 万 token 0.10 美元到 30 美元不等。输出价格从 0.10 美元到 180 美元。同时给出输入和输出标价的 69 条记录里,输出对输入比值的中位数是 5.0 倍。折扣和标价一样重要。在 58 条可比记录中,指数报告的缓存输入折扣中位数为 90%。在 44 条支持批处理的记录中,批处理输入折扣中位数为 50%。方法页明确说明,地区定价和协商价格不在统计范围内,这些数字是规划用的输入,不是账单。

硬件侧的研究也在往同一个方向走。9 月 28 日发表于 SOSP '26 的一篇论文介绍了 EnerTune,这是一个服务系统,用针对单个模型的性能和功耗分析模型,加上共享 GPU 上同置模型的功耗,来驱动一个能耗感知的装箱算法。作者 Prasoon Sinha、Dimitrios Liakopoulos、Nathan Lemma 和 Neeraja J. Yadwadkar 报告称,在满足性能 SLO 的前提下,能耗比当前最优基线降低 1.4 到 2.3 倍,功耗降低 1.3 到 2.6 倍。

他们的出发点是,GPU 集群的利用率仍然很低,而单纯为提高利用率做优化,可能反而推高能耗。他们指出,在大规模场景下,为每个模型在数百种配置下做性能剖析的成本高得无法承受,所以只能用估算代替实测。

最近的结果并不都出在服务栈上。MindOn 在 9 月 30 日推出 Mind-1,称这是一个物理 AI 模型,把机器人推理延迟从 82ms 降到 32ms,让操作任务的循环时间达到人类水平。公司帖子指出,在末端执行器速度 3 m/s 时,10 ms 的延迟大约相当于 3 cm 的位移,足以影响精确抓取和插入。这同样是延迟预算的论证,只是对象从数据仓库换成了机械臂。

还有一个值得注意的反向证据。Gleb Kogan 在 9 月 30 日发表的一篇文章写到,Pinecone 把基于用量的价格计算器从定价页上撤掉了。在一次 A/B 测试中,没看到计算器的访客注册比例高出 16%,联系公司的比例高出 90%,而定价相关的支持工单并没有增加。测试前的内部投票中,10 名员工里有 7 人预计带计算器的版本会赢。换句话说,成本工具在提供信息的同时也容易误导,谁把每 token 基准当成账单来读,都该留个心眼。

Quail 的数字仍是厂商自行发布的研究结果。团队为新发布的基准给出的 1.84 倍,是在各任务上做几何平均得到的,比每分钟 10 亿 token 的标题说法保守得多。基准本身包含两个查询,作者说这两个查询就是为了展示 AI-SQL 推理还有哪些地方需要改进。

评论 0

资料来源

7
  1. 01Hitting 1B tokens/minute on 1 GPU combining a query planner and inference engineEN
  2. 02Building an Ultra-High Throughput AI-SQL EngineEN
  3. 03Launch HN: Magnitude (YC S25) - Self-optimizing inference engine for agentsEN
  4. 04AI API Pricing Index - September 2026EN
  5. 05Beyond Utilization: Energy-Conscious GPU Sharing for Inference ServingEN
  6. 06Mind-1: Physical AI at Human Speed, Built for Real WorkEN
  7. 07The pricing calculator made people more confused about pricingEN

本文所有数字与引语均来自下列来源,未添加来源之外的内容。

本内容由编辑部在人工智能辅助下制作完成。

王雅琴

王雅琴

人工智能、模型与技术

王雅琴负责FLASH24的人工智能、模型与技术报道,覆盖科技、人工智能与模型、媒体与互联网领域。她习惯直接查阅技术文档、模型卡与官方博客,而非依赖新闻稿,对未经核实的参数和跑分数据一概不放行。每篇报道前,她会逐项核对基准测试结果,对照论文原文与开源代码,确认版本号、数据集和评测条件是否一致。她常联系开发者与研究人员求证细节,也盯着各大厂商的发布会和论文截稿日期,横向比较同类模型的实际表现。私下她自建服务、折腾家庭网络,这让她对部署成本和真实算力需求有直观判断。她的原则是:没有可复现来源的数字,不写进稿子。

编辑部 →

评论

0
  1. 还没有评论——来说两句吧。

写评论

评论公开展示。我们不发布辱骂、垃圾信息和广告内容。