跳到正文
世界时间EU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

关于人工智能与技术的门户事件 · 分析 · 访谈 · 技术背景

搜索
直播
›

Quail 与 Magnitude 从堆栈两端夹击推理成本

9月30日发布的两个开源项目从不同方向争夺同一个目标。Quail 让推理引擎按 SQL 查询计划调度请求,称单张 H100 每分钟处理超过40亿个 token。Magnitude 在用户自己的硬件上编译内核,称运行开源模型比 llama.cpp 快最多2倍。

人工智能与模型分析王雅琴发布: 2026年9月30日6 分钟阅读资料来源 6
Quail 与 Magnitude 从堆栈两端夹击推理成本

Modal 与卡内基梅隆大学 Full Stack Data Lab 的说法很具体。团队在9月30日写道,Quail(QUery-Aware Inference Layer,查询感知推理层)在单张 H100 GPU 上处理一条多表连接查询,每分钟超过40亿个 token,比同一硬件上的 vLLM 基线快10倍以上。放到 Modal 的云上,这相当于每40亿个 token 不到6美分。

这个数字大到看起来像打错了。

它说的不是新模型,也不是新芯片。它说的是顺序。

Quail 到底做了什么

AI-SQL 在 SQL 上扩展了按行调用语言模型的函数。一个筛选条件要每行调用一次模型。一次朴素连接要为两张表的每一对行各调用一次。Full Stack Data Lab 于9月24日发布、由 Modal 转发的博客文章拆解了一个名为 BIO-4 的基准查询:5000份医疗报告与4144个反应词条连接,做两遍。实验室算出的理论下限是894.37秒,即14.91分钟,前提是 GPU 满吞吐、CPU 与 GPU 完全重叠、保留的 KV cache 空间不受限。在单张 H100 上以 Qwen3 4B FP8 运行 vLLM 0.26.0,耗时6.84小时,是这个下限的27.55倍。博客把差距归因于两点。一是主机开销,CPU 调度请求时 H100 处于空闲。二是它所说的 KV 后悔,vLLM 丢弃了之后还要用的键值缓存。在规模因子1.0的 BIO-4 上,实验室称 vLLM 处理了17460万个,而这句话在我们拿到的文本里就此中断。

Quail 的做法是把查询结构本身当作调度信号。引擎如果知道执行计划,就能按顺序安排请求以复用缓存,并主动而不是被动地驱逐缓存。Modal 的文章称这是对 Hydragen 式级联注意力的一点修改,并归功于 Modal 推理研究者与 CMU 数据库研究者的合作。

在新发布的 AI-SQL 基准上,Quail 按任务做几何平均后比 vLLM 快1.84倍,远低于40亿 token 那个头条数字。Modal 的文章说,该基准包含两条查询,专门用来展示 AI-SQL 推理仍有待改进之处。这是一个有用的披露:10倍是单条查询上的最好情况,不是普遍加速。

Magnitude 走的是另一条路

Y Combinator S25 公司 Magnitude 在9月30日发布了代码库,论据不同。它的推理引擎在模型运行前,先在实际设备上编译并调优内核,而不是发布为宽泛硬件类别预编译好的内核。README 称比 llama.cpp 快最多2倍,Metal 上解码快92%,CUDA 上快19%。它还称每个智能体内存占用少27%。

支持的硬件有意放宽:Apple Silicon、NVIDIA、AMD,或者只有 CPU。项目称没有固定的最低配置,机器越小跑的模型越小。它以桌面应用加 CLI 的形式发布,可连接 Pi、OpenCode、Hermes、OpenClaw、Codex、Claude Code、Oh My Pi 和 Cline,并为其他工具提供兼容 OpenAI 的 API。许可证为 Apache 2.0,本地运行。

这两个项目不是竞争对手。Quail 瞄准分析型 SQL 层,那里由查询规划器生成数以百万计的小而结构化的模型调用。Magnitude 瞄准开发者的笔记本,那里一个智能体对着一个模型跑,约束是内存和解码速度。但它们从相反两端指向同一个成本问题:推理之所以贵,是因为通用引擎不知道工作负载下一步要做什么。

价格数据说明了什么

AICostBudget 的9月价格指数给出了市场背景。该指数以9月30日 UTC 为截止时点冻结,覆盖11家供应商的81条公开记录。在有当前输入 token 标量的69条记录中,价格从每100万个 token 0.10美元到30美元不等。输出价格从0.10美元到180美元。输入价格中位数为1.32美元,输出价格中位数为6美元,输出对输入的中位比值为5.0倍。

该指数指出了一点,只看最便宜模型排行榜很容易错过。在58条可比记录中,缓存输入折扣的中位数为90%。在44条支持批处理的记录中,批处理折扣的中位数为50%。忽略这两种模式的工作负载比较,比的只是没人真正支付的标价。

指数中的供应商中位数,方法论说明这些数字未按用量或市场份额加权:Google Gemini 在14条有价记录中输入0.75美元、输出4.125美元,Mistral AI 在7条记录中为0.20美元和0.60美元,DeepSeek 在3条记录中为0.30美元和1.20美元,OpenAI 在18条记录中为2美元和11美元,xAI 在9条记录中为1.25美元和2.50美元,Cohere 在2条记录中为1.50美元和5.75美元,Anthropic 在13条记录中为5美元和25美元,Moonshot AI 在3条记录中为0.95美元和4美元。AWS、Azure 和 Google Cloud 各贡献一条无数值的记录。

硬件这一侧

硬件效率也在被同时进攻。EnerTune 是一篇9月28日发表在 SOSP '26 会议录上的论文,它认为纯粹为提高利用率而优化 GPU 集群,反而可能推高能耗。作者 Prasoon Sinha、Dimitrios Liakopoulos、Nathan Lemma 和 Neeraja J. Yadwadkar 提出了单模型性能与功耗的分析模型,以及共享 GPU 上共置模型的功耗模型,再喂给一个能耗感知的装箱算法。他们报告在满足性能 SLO 的同时,相比最先进的基线把能耗降低1.4倍到2.3倍,功耗降低1.3倍到2.6倍。

这是与 Quail 不同的杠杆,但附带同样的保留条件:基准结果,不是生产部署。论文明确指出,在数百种配置下对每个模型做剖析,在规模化时成本高得不可行,这也是它改用分析模型的原因。

与此同时,Pinecone 对自己定价计算器的经历提醒人们,成本困惑不只出在算力上。Gkogan 在9月30日描述了这件事:公司撤掉了计算器,因为一次 A/B 测试发现,没看到计算器的访客注册可能性高16%,主动联系的可能性高90%,而定价支持工单没有增加。每十名员工中有七人曾预测计算器版本会赢。

Quail、Magnitude 和 EnerTune 的共同点是:最大的收益来自对工作负载知道得更多,无论那是一份查询计划、一块具体芯片,还是一种共置模式。通用引擎把这些信息留在了桌上。三者都还没有证明的是,这些收益能否在杂乱的生产流量中存活下来,而只有 Magnitude 交付了开发者今天就能安装的东西。

评论 0

资料来源

6
  1. 01Hitting 1B tokens/minute on 1 GPU combining a query planner and inference engineEN
  2. 02Jointly optimizing SQL queries and LLM inference for up to 14x speedupsEN
  3. 03Launch HN: Magnitude (YC S25) - Self-optimizing inference engine for agentsEN
  4. 04AI API Pricing Index - September 2026EN
  5. 05Beyond Utilization: Energy-Conscious GPU Sharing for Inference ServingEN
  6. 06The pricing calculator made people more confused about pricingEN

本文所有数字与引语均来自下列来源,未添加来源之外的内容。

本内容由编辑部在人工智能辅助下制作完成。

王雅琴

王雅琴

人工智能、模型与技术

王雅琴负责FLASH24的人工智能、模型与技术报道,覆盖科技、人工智能与模型、媒体与互联网领域。她习惯直接查阅技术文档、模型卡与官方博客,而非依赖新闻稿,对未经核实的参数和跑分数据一概不放行。每篇报道前,她会逐项核对基准测试结果,对照论文原文与开源代码,确认版本号、数据集和评测条件是否一致。她常联系开发者与研究人员求证细节,也盯着各大厂商的发布会和论文截稿日期,横向比较同类模型的实际表现。私下她自建服务、折腾家庭网络,这让她对部署成本和真实算力需求有直观判断。她的原则是:没有可复现来源的数字,不写进稿子。

编辑部 →

评论

0
  1. 还没有评论——来说两句吧。

写评论

评论公开展示。我们不发布辱骂、垃圾信息和广告内容。