开源推理引擎压低 AI-SQL 与智能体成本,基准数据公布
9 月 30 日,两个开源推理项目公布基准数据,称运行 AI 工作负载的成本大幅下降。与此同时,一份独立的价格指数显示,输出 token 的中位价格为每百万个 6 美元。

9 月 30 日,Modal 与卡内基梅隆大学 Full Stack Data Lab 推出 Quail。这是一个推理引擎,同时优化 SQL 查询规划与 LLM 执行。据 Modal 博客介绍,Quail 在单块 H100 GPU 上每分钟处理超过十亿个 token。博客称,这比同一硬件上作为基准的 vLLM 快 10 倍以上。在 Modal 的基础设施上,折算下来每十亿个 token 成本不到 6 美分。
Full Stack Data Lab 的博客发布于 9 月 24 日,与 Modal 的文章一同被提及,其中解释了问题所在。AI-SQL 在 SQL 基础上扩展了逐行调用 LLM 的函数,因此一个筛选查询就可能触发数十万乃至数百万次模型调用。该实验室指出,Snowflake Cortex AISQL、BigQuery AI functions、Databricks AI Functions 以及最近的 MotherDuck 都支持这类用法。
Quail 是本周多项效率声明中最新的一个。9 月 30 日,开源项目 Magnitude 在 GitHub 上线。它被描述为面向智能体的推理引擎,可在用户自己的硬件上编译并调优内核。其 README 声称解码速度最高可达 llama.cpp 的 2 倍,其中 Metal 上解码快 92%,CUDA 上快 19%,每个智能体占用的内存少 27%。Magnitude 可运行在 Apple Silicon、NVIDIA、AMD 或纯 CPU 上,通过一次点击即可连接 Pi、OpenCode、Hermes 和 Codex。
在一个规划尤其重要的多表连接查询上,Quail 在单块 H100 GPU 上每分钟处理超过十亿个 token(TPM/GPU),比同一硬件上作为基准的 vLLM 快 10 倍以上。
两个项目针对的是不同的瓶颈。Magnitude 面向本地智能体工作负载,限制因素在于内核能否适配消费级或工作站芯片。Quail 面向数据库工作负载,限制因素在于主机开销和 KV 缓存淘汰。Full Stack Data Lab 在医疗报告查询 BIO-4 上测得 vLLM 基准耗时 6.84 小时,是该实验室自己估算的理论最快速度 14.91 分钟的 27.55 倍。
硬件经济性仍是背景。一篇在 SOSP '26 上发表、9 月 30 日公开的论文介绍了 EnerTune,一个 GPU 共享系统。作者称,在满足性能 SLO 的前提下,相比当前最优基线,它把能耗降低到 1.4 至 2.3 分之一,把功耗降低到 1.3 至 2.6 分之一。作者认为,单纯以 GPU 利用率为优化目标反而可能推高能耗;他们还指出,在大规模下对每种配置都做性能剖析,成本高得难以承受。
标价差距依然很大
价格方面,AICostBudget 于 9 月 30 日发布 9 月指数。该指数基于 11 家供应商的 81 条冻结公开定价记录。输入价格中位数为每百万个 token 1.32 美元,输出价格中位数为 6 美元,两者之比为 5.0 倍。实际区间为输入每百万个 token 0.10 至 30 美元,输出 0.10 至 180 美元。
该指数报告称,在 58 条可比记录中,缓存输入折扣的中位数为 90%;在 44 条记录中,Batch 折扣的中位数为 50%。按供应商的输入价格中位数看,Mistral AI 最低,为 0.20 美元。DeepSeek 为 0.30 美元,Google Gemini 为 0.75 美元,Moonshot AI 为 0.95 美元,xAI 为 1.25 美元,Cohere 为 1.50 美元,OpenAI 为 2 美元,Anthropic 为 5 美元。
并非每条记录都能直接比较。AICostBudget 表示,有 17 条记录采用阶梯定价或长上下文定价,13 条记录采用按文档页数或会话时长等非 token 计费的部分,这些都被排除在 token 中位数之外。该机构还说明,其数据快照窗口始于 2026 年 7 月,并未声称全行业价格出现了年度下降。
与此同时,不优化带来的工程成本,在 Quail 的数字里看得见。该实验室称,由于 KV 后悔,vLLM 在 BIO-4 上处理了 17460 万个本不需要的 token,而 CPU 调度让 H100 处于空闲状态。Magnitude 和 Quail 想补上的,正是这些缺口,只是各自从技术栈的两端入手。
资料来源
5- 01Hitting 1B tokens/minute on 1 GPU combining a query planner and inference engineEN
- 02Jointly optimizing SQL queries and LLM inference for up to 14x speedupsEN
- 03Launch HN: Magnitude (YC S25) - Self-optimizing inference engine for agentsEN
- 04AI API pricing index - September 2026EN
- 05Beyond Utilization: Energy-Conscious GPU Sharing for Inference ServingEN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。