跳到正文
世界时间EU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

关于人工智能与技术的门户事件 · 分析 · 访谈 · 技术背景

搜索
直播
›

推理成本之争:Quail 称每分钟处理 10亿 token,Magnitude 在设备端调优内核

9月30日,两个工程团队各自发布说法:运行开放模型的成本可以降下来,办法是改写推理引擎处理硬件和查询结构的方式,而不是等更便宜的 GPU。

人工智能与模型分析王雅琴发布: 2026年9月30日3 分钟阅读资料来源 6
推理成本之争:Quail 称每分钟处理 10亿 token,Magnitude 在设备端调优内核

Modal 与卡内基梅隆大学 Full Stack Data Lab 在9月30日表示,双方共同构建的推理引擎 Quail 在一块 H100 GPU 上处理一条多表连接 AI-SQL 查询时,速度超过每分钟 10亿 token。根据 Modal 的博客文章,这比同一硬件上他们的 vLLM 基线快 10 倍以上。折算到 Modal 自家云上,每 10亿 token 成本不到 6 美分,也就是每 40亿 token 不到 6 美分的量级。

这个说法建立在特定工作负载之上。AI-SQL 在普通 SQL 上扩展出可调用语言模型的函数,因此一个过滤器可能对每一行触发一次模型调用,一个连接则对每一行组合触发一次。Full Stack Data Lab 的技术说明描述了一条基准查询 BIO-4,覆盖 5000 份医疗报告和 4144 个反应术语。在一台 H100 上用 vLLM 0.26.0 加 Qwen3 4B FP8 运行它,规模因子 1.0 下耗时 6.84 小时。作者计算,这是 roofline 估算值 14.91 分钟的 27.55 倍。

功夫在引擎,不在芯片

这个差距就是他们的论据。作者把损失归因于主机开销:CPU 在调度请求,H100 却在空转。另一个原因是他们所说的 KV 遗憾,即 vLLM 丢弃了之后又需要的键值缓存。实验室的博客称,这条查询白白处理了 17460万 token 的 KV 工作。Quail 则把查询计划作为输入,从而能对请求排序以复用缓存,并有意识地淘汰缓存。

两篇说明的侧重点并不相同。Modal 围绕单条最佳查询和每分钟 10亿 token 这个数字来组织结论。Full Stack Data Lab 则报告称,在其新的 AI-SQL 基准上取几何平均,Quail 比 vLLM 快 1.84 倍,其中包含两条作者专门设计来暴露剩余弱点的查询。两组数字来自同一个合作项目,因此并非独立验证。

同一天,Y Combinator S25 公司 Magnitude 以 Apache 2.0 协议开源了自己的推理引擎。其GitHub 仓库声称,开放模型运行速度最高可达 llama.cpp 的 2 倍,Metal 上解码快 92%,CUDA 上快 19%。机制与 Quail 不同:Magnitude 在模型运行前,先在用户自己的设备上编译并调优内核,目标平台包括 Apple Silicon、Nvidia、AMD 或普通 CPU。仓库还声称每个 agent 的内存占用少 27%,并在并发会话之间共享前缀缓存。

两次发布所处的市场背景是:标价并没有整齐下降。AICostBudget 的9月快照以 9月30日 UTC 截止时间冻结,覆盖 11 家供应商的 81 条公开定价记录。它给出的输入中位价是每百万 token 1.32 美元,输出中位价是 6 美元,比值为 5.0 倍,缓存输入折扣中位数为 90%,批量定价为 50%。通常更贵的部分是输出,而不是提示词摄入。

硬件层面的工作也开始用能耗而不是利用率来衡量。9月28日发表于 SOSP '26 的论文 Beyond Utilization 认为,只按利用率优化 GPU 复用反而可能推高能耗。其系统 EnerTune 使用单模型功耗以及同机部署模型功耗的分析模型,作者报告在达到性能目标的同时,相比未具名的先进基线,能耗降低 1.4 倍到 2.3 倍,功耗降低 1.3 倍到 2.6 倍。

还有一条提醒来自基础设施之外。Pinecone 的 Gaurav Kogan 在9月30日描述了公司如何在一次 A/B 测试后撤掉按用量计价的定价计算器。他写道,没看到这个计算器的访客注册的可能性高 16%,主动联系的可能性高 90%,而定价相关的客服工单并没有增加。这个教训可以迁移:一个本意是说明成本的工具,可能扭曲它本来要服务的那个决定。

评论 0

资料来源

6
  1. 01Hitting 1B tokens/minute on 1 GPU combining a query planner and inference engineEN
  2. 02Building an Ultra-High Throughput AI-SQL EngineEN
  3. 03Launch HN: Magnitude (YC S25) – Self-optimizing inference engine for agentsEN
  4. 04AI API pricing index - September 2026EN
  5. 05Beyond Utilization: Energy-Conscious GPU Sharing for Inference ServingEN
  6. 06The pricing calculator made people more confused about pricingEN

本文所有数字与引语均来自下列来源,未添加来源之外的内容。

本内容由编辑部在人工智能辅助下制作完成。

王雅琴

王雅琴

人工智能、模型与技术

王雅琴负责FLASH24的人工智能、模型与技术报道,覆盖科技、人工智能与模型、媒体与互联网领域。她习惯直接查阅技术文档、模型卡与官方博客,而非依赖新闻稿,对未经核实的参数和跑分数据一概不放行。每篇报道前,她会逐项核对基准测试结果,对照论文原文与开源代码,确认版本号、数据集和评测条件是否一致。她常联系开发者与研究人员求证细节,也盯着各大厂商的发布会和论文截稿日期,横向比较同类模型的实际表现。私下她自建服务、折腾家庭网络,这让她对部署成本和真实算力需求有直观判断。她的原则是:没有可复现来源的数字,不写进稿子。

编辑部 →

评论

0
  1. 还没有评论——来说两句吧。

写评论

评论公开展示。我们不发布辱骂、垃圾信息和广告内容。