Quail 与 Magnitude 从堆栈两端夹击推理成本
9月30日发布的两个开源项目从不同方向争夺同一个目标。Quail 让推理引擎按 SQL 查询计划调度请求,称单张 H100 每分钟处理超过40亿个 token。Magnitude 在用户自己的硬件上编译内核,称运行开源模型比 llama.cpp 快最多2倍。

Modal 与卡内基梅隆大学 Full Stack Data Lab 的说法很具体。团队在9月30日写道,Quail(QUery-Aware Inference Layer,查询感知推理层)在单张 H100 GPU 上处理一条多表连接查询,每分钟超过40亿个 token,比同一硬件上的 vLLM 基线快10倍以上。放到 Modal 的云上,这相当于每40亿个 token 不到6美分。
这个数字大到看起来像打错了。
它说的不是新模型,也不是新芯片。它说的是顺序。
Quail 到底做了什么
AI-SQL 在 SQL 上扩展了按行调用语言模型的函数。一个筛选条件要每行调用一次模型。一次朴素连接要为两张表的每一对行各调用一次。Full Stack Data Lab 于9月24日发布、由 Modal 转发的博客文章拆解了一个名为 BIO-4 的基准查询:5000份医疗报告与4144个反应词条连接,做两遍。实验室算出的理论下限是894.37秒,即14.91分钟,前提是 GPU 满吞吐、CPU 与 GPU 完全重叠、保留的 KV cache 空间不受限。在单张 H100 上以 Qwen3 4B FP8 运行 vLLM 0.26.0,耗时6.84小时,是这个下限的27.55倍。博客把差距归因于两点。一是主机开销,CPU 调度请求时 H100 处于空闲。二是它所说的 KV 后悔,vLLM 丢弃了之后还要用的键值缓存。在规模因子1.0的 BIO-4 上,实验室称 vLLM 处理了17460万个,而这句话在我们拿到的文本里就此中断。
Quail 的做法是把查询结构本身当作调度信号。引擎如果知道执行计划,就能按顺序安排请求以复用缓存,并主动而不是被动地驱逐缓存。Modal 的文章称这是对 Hydragen 式级联注意力的一点修改,并归功于 Modal 推理研究者与 CMU 数据库研究者的合作。
在新发布的 AI-SQL 基准上,Quail 按任务做几何平均后比 vLLM 快1.84倍,远低于40亿 token 那个头条数字。Modal 的文章说,该基准包含两条查询,专门用来展示 AI-SQL 推理仍有待改进之处。这是一个有用的披露:10倍是单条查询上的最好情况,不是普遍加速。
Magnitude 走的是另一条路
Y Combinator S25 公司 Magnitude 在9月30日发布了代码库,论据不同。它的推理引擎在模型运行前,先在实际设备上编译并调优内核,而不是发布为宽泛硬件类别预编译好的内核。README 称比 llama.cpp 快最多2倍,Metal 上解码快92%,CUDA 上快19%。它还称每个智能体内存占用少27%。
支持的硬件有意放宽:Apple Silicon、NVIDIA、AMD,或者只有 CPU。项目称没有固定的最低配置,机器越小跑的模型越小。它以桌面应用加 CLI 的形式发布,可连接 Pi、OpenCode、Hermes、OpenClaw、Codex、Claude Code、Oh My Pi 和 Cline,并为其他工具提供兼容 OpenAI 的 API。许可证为 Apache 2.0,本地运行。
这两个项目不是竞争对手。Quail 瞄准分析型 SQL 层,那里由查询规划器生成数以百万计的小而结构化的模型调用。Magnitude 瞄准开发者的笔记本,那里一个智能体对着一个模型跑,约束是内存和解码速度。但它们从相反两端指向同一个成本问题:推理之所以贵,是因为通用引擎不知道工作负载下一步要做什么。
价格数据说明了什么
AICostBudget 的9月价格指数给出了市场背景。该指数以9月30日 UTC 为截止时点冻结,覆盖11家供应商的81条公开记录。在有当前输入 token 标量的69条记录中,价格从每100万个 token 0.10美元到30美元不等。输出价格从0.10美元到180美元。输入价格中位数为1.32美元,输出价格中位数为6美元,输出对输入的中位比值为5.0倍。
该指数指出了一点,只看最便宜模型排行榜很容易错过。在58条可比记录中,缓存输入折扣的中位数为90%。在44条支持批处理的记录中,批处理折扣的中位数为50%。忽略这两种模式的工作负载比较,比的只是没人真正支付的标价。
指数中的供应商中位数,方法论说明这些数字未按用量或市场份额加权:Google Gemini 在14条有价记录中输入0.75美元、输出4.125美元,Mistral AI 在7条记录中为0.20美元和0.60美元,DeepSeek 在3条记录中为0.30美元和1.20美元,OpenAI 在18条记录中为2美元和11美元,xAI 在9条记录中为1.25美元和2.50美元,Cohere 在2条记录中为1.50美元和5.75美元,Anthropic 在13条记录中为5美元和25美元,Moonshot AI 在3条记录中为0.95美元和4美元。AWS、Azure 和 Google Cloud 各贡献一条无数值的记录。
硬件这一侧
硬件效率也在被同时进攻。EnerTune 是一篇9月28日发表在 SOSP '26 会议录上的论文,它认为纯粹为提高利用率而优化 GPU 集群,反而可能推高能耗。作者 Prasoon Sinha、Dimitrios Liakopoulos、Nathan Lemma 和 Neeraja J. Yadwadkar 提出了单模型性能与功耗的分析模型,以及共享 GPU 上共置模型的功耗模型,再喂给一个能耗感知的装箱算法。他们报告在满足性能 SLO 的同时,相比最先进的基线把能耗降低1.4倍到2.3倍,功耗降低1.3倍到2.6倍。
这是与 Quail 不同的杠杆,但附带同样的保留条件:基准结果,不是生产部署。论文明确指出,在数百种配置下对每个模型做剖析,在规模化时成本高得不可行,这也是它改用分析模型的原因。
与此同时,Pinecone 对自己定价计算器的经历提醒人们,成本困惑不只出在算力上。Gkogan 在9月30日描述了这件事:公司撤掉了计算器,因为一次 A/B 测试发现,没看到计算器的访客注册可能性高16%,主动联系的可能性高90%,而定价支持工单没有增加。每十名员工中有七人曾预测计算器版本会赢。
Quail、Magnitude 和 EnerTune 的共同点是:最大的收益来自对工作负载知道得更多,无论那是一份查询计划、一块具体芯片,还是一种共置模式。通用引擎把这些信息留在了桌上。三者都还没有证明的是,这些收益能否在杂乱的生产流量中存活下来,而只有 Magnitude 交付了开发者今天就能安装的东西。
资料来源
6- 01Hitting 1B tokens/minute on 1 GPU combining a query planner and inference engineEN
- 02Jointly optimizing SQL queries and LLM inference for up to 14x speedupsEN
- 03Launch HN: Magnitude (YC S25) - Self-optimizing inference engine for agentsEN
- 04AI API Pricing Index - September 2026EN
- 05Beyond Utilization: Energy-Conscious GPU Sharing for Inference ServingEN
- 06The pricing calculator made people more confused about pricingEN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。