推理引擎 Quail 每分钟突破 10 亿 token,供应商价格同步上涨
全栈数据实验室(Full Stack Data Lab)开发的推理引擎 Quail 在 9 月 30 日公布的结果中,用一块 H100 GPU 每分钟处理超过 10 亿个 token,速度是同一硬件上 vLLM 基线的 10 倍以上,在 Modal 上每 10 亿 token 成本不到 6 美分。

这组数字出现时,GPU 算力正变得越来越贵。据报道,AWS 已提示自 10 月 7 日起 GPU 算力价格上涨 15%;另据不同报道,Nebius 在 9 月下旬把推理价格上调了 18.3%。在这样的背景下,一批推理层项目本周公布了基准测试,从软件一侧压低成本。
Quail 是 QUery-Aware Inference Layer 的缩写,出自全栈数据实验室。团队称它是对 SQL 查询规划器与推理引擎的联合优化,专为 AI-SQL 打造:SQL 扩展了可调用大模型的用户自定义函数。引擎自己的基准报告称,按任务做几何平均后比 vLLM 快 1.84 倍,其中还包含作者特意设计的两条查询,用来暴露 AI-SQL 推理目前仍需改进的地方。
这类负载和聊天机器人完全不是一回事。
据该实验室 9 月 30 日发布的技术文章,AI 函数逐行评估提示词,因此一条 SQL 查询可能产生数十万乃至数百万次模型调用。一个过滤条件每行需要一次大模型调用;一次朴素连接则要为两张输入表的每一对行各调用一次。文章认为,把这些请求分别发给 vLLM 这类通用引擎开销很大,因为请求之间共享的前缀本可以复用。
实验室在 QUAIL-B 基准中的 BIO-4 查询说明了规模:5000 份长篇医疗报告与 4144 个反应术语做连接,反应列表在两次连接中各用一次。执行计划先筛出心血管和神经系统反应的术语集,再把保留下来的报告分别与它们连接。若按朴素方式执行,每个过滤输入要一个提示词,每一对候选的报告与反应也要一个提示词。
Quail 的办法是让规划器和引擎互相感知。Quail 以 0.1.0 版本发布,附带一个示例:在 h100-sxm 设备上用 qwen3-4b-fp8 对 IMDB 数据集执行查询。引擎的基准报告给出的每分钟 10 亿 token 数字来自一条多连接查询,规划在这类查询里最关键,速度比相同硬件上的 vLLM 基线快 10 倍以上。
托管演示的 Modal 给出的成本是每 10 亿 token 不到 6 美分。这个数字对应特定的查询形态:小型开放权重模型处理短小、有界的判断,而不是长链条的智能体流程。实验室作者点名了同领域的学术系统,包括加州大学伯克利分校的 DocETL、斯坦福的 LOTUS、麻省理工的 Palimpzest 和康奈尔的 ThalamusDB,并提到 MOAR、Task Cascades、Abacus 和 BARGAIN 等方法在减少调用次数和模型规模上的贡献。
他们的主张是,即便经过这些优化,一个执行计划仍可能需要数十万乃至数百万次调用,这正是专用引擎的价值所在。
瞄准本地硬件的并不只有 Quail。YC S25 公司 Magnitude 在 9 月 30 日推出面向智能体的开源推理引擎,以 Apache 2.0 协议发布在 GitHub 上。其 README 称开放模型运行速度最高可达 llama.cpp 的 2 倍,具体是 Metal 上解码快 92%,CUDA 上快 19%。做法是在模型运行前先在用户自己的设备上编译并调优内核,而不是为各种硬件类别预先编译好内核。
Magnitude 还称每个智能体的内存占用减少 27%,智能体停止时即释放,并支持并发会话之间共享前缀缓存。它支持 Apple Silicon、NVIDIA、AMD 或纯 CPU,可接入 Pi、OpenCode、Hermes、OpenClaw、Codex、Claude Code、Oh My Pi 和 Cline,其他工具可用 OpenAI 兼容接口。公司表示提示词、文件和模型都留在本机,模型下载完成后无需联网。
两个项目算的是同一笔账:把推理从按量计费的云端接口挪到买家已经拥有、或以固定费率租用的硬件上。定价数据说明了这种说法为何有市场。
AICostBudget 的 9 月价格指数以 9 月 30 日为截止日,覆盖 11 家供应商的 81 条公开记录。69 个非空标量值的输入价格中位数为每百万 token 1.32 美元,输出价格中位数为 6 美元。输出价格中位数是输入的 5.0 倍。区间很宽:输入从每百万 token 0.10 美元到 30 美元,输出从 0.10 美元到 180 美元。
该指数还量化了让标价产生误导的折扣结构。在 58 条可比记录中,缓存输入折扣中位数为 90%,观测区间为 75% 到 98%。在 44 条支持批处理的记录中,Batch 输入折扣中位数为 50%,观测区间为 20% 到 50%。报告自己的结论很直接:忽略缓存和 Batch 定价的负载对比,会漏掉很大一部分被跟踪记录中已公开的省钱方式。
同一数据集中各供应商的中位数是:OpenAI 18 条记录,输入 2 美元、输出 11 美元;Google Gemini 14 条,0.75 美元和 4.125 美元;Anthropic 13 条,5 美元和 25 美元;xAI 9 条,1.25 美元和 2.5 美元;Mistral AI 7 条,0.20 美元和 0.60 美元;DeepSeek 3 条,0.30 美元和 1.2 美元;Moonshot AI 3 条,0.95 美元和 4 美元;Cohere 2 条,1.5 美元和 5.75 美元。报告提醒,文档页数、存储、会话时长等按时间计费的单位无法折算进只按 token 计算的表格,另有 13 条记录包含非 token 计费成分。
并非所有成本问题都出在定价上。9 月 28 日在 SOSP '26 上发表的论文认为,只按利用率优化 GPU 集群反而可能推高能耗。作者 Prasoon Sinha、Dimitrios Liakopoulos、Nathan Lemma 和 Neeraja J. Yadwadkar 提出 EnerTune,它用每个模型的性能与功耗分析模型,加上共享 GPU 上同置模型的功耗,嵌入一个能耗感知的装箱算法,把放置位置和配置一起选定。
论文摘要称,在满足性能 SLO 的前提下,相比现有最优基线,能耗降低 1.4 倍到 2.3 倍,功耗降低 1.3 倍到 2.6 倍。论文指出,在规模化场景下为每个模型在数百种配置上做性能剖析代价太高,因此该方法依靠模型而非实测。
在物理 AI 中,约束是延迟而非吞吐。MindOn 在 9 月 30 日发布 Mind-1,称把机器人推理延迟从 82ms 降到 32ms。公司文章指出,末端执行器速度 3 m/s 时,10ms 延迟约对应 3cm 位移,足以影响精确抓取、插入或接触丰富的操作。MindOn 还提到训练数据的节奏问题:大量操作数据来自遥操作,比自然人动作慢,模型在学任务的同时也学会了这种节奏。
同样的效率逻辑也出现在 AI 之外。CleanTechnica 9 月 29 日报道,Transport & Environment 的分析认为电动车每公里运行成本不到柴油车的一半,依据是柴油油耗 6.9 L/100 km、电动车电耗 20.2 kWh/100 km,电价 0.343 欧元/kWh。T&E 的 Antony Froggatt 表示,欧盟应对石油利润征税,用于补贴低收入家庭和报废置换计划。T&E 自己的方法学说明,其充电成本估算很可能偏高。
电信运营商正通过整合走同一条路。Light Reading 9 月 30 日报道,StarHub 与 M1 在新加坡进行合并谈判,两家此前已通过合资公司 Antina 共享 5G 频谱和无线接入网。据报道,Singtel 在 6 月占据 43% 的移动市场份额,M1 为 22%,StarHub 为 21%,Simba 为 14%。在新西兰,2degrees 和 OneNZ 提议把无线网络合并为一家合资实体,商业委员会的裁决预计明年作出。Light Reading 以中国电信与中国联通的 5G 合作为例,称这是此类合作中规模最大的,覆盖 150 万个基站,据称节省资本开支 560 亿美元。
Quail 的吞吐能否变成普通 AI-SQL 用户更低的账单,目前还没有定论。每分钟 10 亿 token 的数字来自一条特意挑选的多连接查询,因为规划在这类查询中最重要;而引擎在整个任务集上的平均基准是 1.84 倍,不是 10 倍。实验室自己也放进了两条用来暴露当前弱点的查询。Quail 目前是 0.1.0 版本。
资料来源
9- 01Jointly optimizing SQL queries and LLM inference for up to 14x speedupsEN
- 02Hitting 1B tokens/minute on 1 GPU combining a query planner and inference engineEN
- 03AI API pricing index - September 2026EN
- 04Launch HN: Magnitude (YC S25) - Self-optimizing inference engine for agentsEN
- 05Beyond Utilization: Energy-Conscious GPU Sharing for Inference ServingEN
- 06Mind-1: Cutting robot inference latency from 82ms to 32msEN
- 07The pricing calculator made people more confused about pricingEN
- 08Driving An EV Now Costs Half As Much As Diesel, New Analysis ShowsEN
- 09Singapore, New Zealand operators seek partnerships to cut costsEN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。