跳到正文
世界时间EU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

关于人工智能与技术的门户事件 · 分析 · 访谈 · 技术背景

搜索
直播
›

Quail 与 Magnitude 压低推理成本,服务层成为新战场

Modal 与卡内基梅隆大学 Full Stack Data Lab 9月30日表示,双方合作的 Quail 引擎在单块 H100 GPU 上每分钟处理超过40亿个 token,是 vLLM 基线的10倍以上,在 Modal 上的成本低于每40亿 token 6美分。

人工智能与模型解释王雅琴发布: 2026年9月30日4 分钟阅读资料来源 6
Quail 与 Magnitude 压低推理成本,服务层成为新战场

同一天,一个名为 Magnitude、由 Y Combinator 支持的项目发布了一款开源推理引擎,能在用户自己的硬件上自动调优内核。两个项目指向同一个判断:模型本身已经不是昂贵的部分,贵的是服务层。

Quail 由 Modal 的推理研究人员和卡内基梅隆大学 Full Stack Data Lab 的数据库研究人员共同完成。两个团队在9月30日 Modal 博客的帖子以及实验室的配套文章中介绍了它。他们瞄准的问题是 AI-SQL:SQL 查询逐行调用语言模型。一个简单的过滤操作,每一行都要调用一次模型;一次朴素的连接,每一对行都要调用一次。实验室自己的基准查询 BIO-4 用 5000 份医疗报告对照 4144 个不良反应词条做过滤,然后连接两次。他们的帖子估算,理想运行时间为 894.37 秒,即 14.91 分钟。这个数字来自 roofline 模型,假设 GPU 吞吐达到峰值、CPU 与 GPU 完全重叠、KV cache 空间不受限制。

实验室称,在单块 H100 上以 1.0 的扩展系数运行 vLLM 0.26.0 搭配 Qwen3 4B FP8,耗时 6.84 小时,是理想估算的 27.55 倍。

原因有两个:一是主机开销,CPU 在调度请求时 GPU 处于空闲;二是他们所说的 KV regret,即 vLLM 丢弃了之后还要用到的键值状态。实验室统计,这次运行浪费了 17460 万个 token。

在一个规划尤为重要的多连接查询上,Quail 在单块 H100 GPU 上每分钟处理的 token 数超过40亿(TPM/GPU),比同一硬件上的 vLLM 基线快10倍以上。

Modal 的帖子把这一优势归因于提前知道查询结构。引擎因此能安排请求顺序,更好地缓存和淘汰 KV 状态。这需要对 Hydragen 风格的级联注意力做修改。在整个基准测试中,Quail 按几何平均计算比 vLLM 快 1.84 倍,其中包含两个作者特意设计、用来暴露 AI-SQL 推理仍有待改进之处的查询。

Magnitude 押注你自己的芯片

列为 YC S25 公司的 Magnitude 走向了另一条路,解决的是同一个成本问题。其 GitHub README 于9月30日更新,描述的引擎会在模型运行前在用户设备上编译并调优内核,不为某一类硬件预编译内核。项目声称比 llama.cpp 快最多 2 倍,Metal 上解码快 92%,CUDA 上快 19%,每个 agent 占用的内存少 27%。它可运行在 Apple Silicon、NVIDIA、AMD 上,也可以只用 CPU。它通过一次点击接入 Pi、OpenCode、Hermes、Codex 和 Claude Code 等 agent,采用 Apache 2.0 许可。README 称,提示词、文件和模型都留在本地。

两个项目追逐的是同一套经济账。

AICostBudget 于9月30日发布的价格指数显示,输入价格中位数为每百万 token 1.32 美元,输出价格中位数为 6 美元。该指数覆盖 11 家提供商的 81 条公开记录。按中位数计算,输出成本约为输入的5倍。同一份快照发现,在 58 条可比记录中,缓存输入折扣的中位数为 90%;在 44 条记录中,批量折扣的中位数为 50%。对任何运行 AI-SQL 的人来说,这才是关键细节。能批量和缓存的工作负载只付标价的一小部分,不能的工作负载则要付全价。

账单在别处出现

能源是房间里另一个数字。

9月28日在 SOSP '26 上发表的一篇论文中,Prasoon Sinha、Dimitrios Liakopoulos、Nathan Lemma 和 Neeraja J. Yadwadkar 认为,纯粹为提高利用率而优化 GPU 集群,反而可能推高能耗。他们的系统 EnerTune 使用针对单个模型性能和功耗的分析模型,其中包含同一块 GPU 上共置模型的功耗,并配合能感知能耗的装箱算法。他们报告称,在仍然达到性能目标的前提下,能耗比当前最优基线低 1.4 到 2.3 倍,功耗低 1.3 到 2.6 倍。

Quail 的作者并不宣称他们的基准测试能给出定论。他们表示,其中两个查询就是为了展示 AI-SQL 推理还需要改进的地方。他们把 1.84 倍的几何平均值视为起点,而不是上限。实验室那个 14.91 分钟的理想值仍然是理想值:没有任何实现能满足它的全部假设。

还有一个数据点,来自定价争论的另一边。

Gagan Kogan 在9月30日的帖子中回顾了在 Pinecone 的工作,描述了一次 A/B 测试。从定价页面移除按用量计价的计算器后,访客注册的可能性提高了 16%,联系公司的可能性提高了 90%,而定价相关的客服工单没有增加。十名员工中有七人此前预测计算器会胜出。事实证明,成本透明本身就是一种复杂度。

对买家来说,实际的解读比新闻标题要窄。对于结构化、可缓存的工作负载,每 token 的价格正在下降,厂商也在公布让它下降的档位。真正的成本之争现在发生在底层基础设施上:GPU、电力,以及两者之间的调度。

评论 0

资料来源

6
  1. 01Building an Ultra-High Throughput AI-SQL EngineEN
  2. 02Quail: Speeding up AI-SQL by jointly optimizing query planner and inference engineEN
  3. 03magnitudedev/magnitude: Open source inference engine for agentsEN
  4. 04AI API Pricing Index, September 2026EN
  5. 05Beyond Utilization: Energy-Conscious GPU Sharing for Inference ServingEN
  6. 06The pricing calculator made people more confused about pricingEN

本文所有数字与引语均来自下列来源,未添加来源之外的内容。

本内容由编辑部在人工智能辅助下制作完成。

王雅琴

王雅琴

人工智能、模型与技术

王雅琴负责FLASH24的人工智能、模型与技术报道,覆盖科技、人工智能与模型、媒体与互联网领域。她习惯直接查阅技术文档、模型卡与官方博客,而非依赖新闻稿,对未经核实的参数和跑分数据一概不放行。每篇报道前,她会逐项核对基准测试结果,对照论文原文与开源代码,确认版本号、数据集和评测条件是否一致。她常联系开发者与研究人员求证细节,也盯着各大厂商的发布会和论文截稿日期,横向比较同类模型的实际表现。私下她自建服务、折腾家庭网络,这让她对部署成本和真实算力需求有直观判断。她的原则是:没有可复现来源的数字,不写进稿子。

编辑部 →

评论

0
  1. 还没有评论——来说两句吧。

写评论

评论公开展示。我们不发布辱骂、垃圾信息和广告内容。