跳到正文
世界时间EU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

关于人工智能与技术的门户事件 · 分析 · 访谈 · 技术背景

搜索
直播
›

开源推理引擎压低 AI-SQL 与智能体成本,基准数据公布

9 月 30 日,两个开源推理项目公布基准数据,称运行 AI 工作负载的成本大幅下降。与此同时,一份独立的价格指数显示,输出 token 的中位价格为每百万个 6 美元。

人工智能与模型解释林晓雯发布: 2026年9月30日3 分钟阅读资料来源 5
开源推理引擎压低 AI-SQL 与智能体成本,基准数据公布

9 月 30 日,Modal 与卡内基梅隆大学 Full Stack Data Lab 推出 Quail。这是一个推理引擎,同时优化 SQL 查询规划与 LLM 执行。据 Modal 博客介绍,Quail 在单块 H100 GPU 上每分钟处理超过十亿个 token。博客称,这比同一硬件上作为基准的 vLLM 快 10 倍以上。在 Modal 的基础设施上,折算下来每十亿个 token 成本不到 6 美分。

Full Stack Data Lab 的博客发布于 9 月 24 日,与 Modal 的文章一同被提及,其中解释了问题所在。AI-SQL 在 SQL 基础上扩展了逐行调用 LLM 的函数,因此一个筛选查询就可能触发数十万乃至数百万次模型调用。该实验室指出,Snowflake Cortex AISQL、BigQuery AI functions、Databricks AI Functions 以及最近的 MotherDuck 都支持这类用法。

Quail 是本周多项效率声明中最新的一个。9 月 30 日,开源项目 Magnitude 在 GitHub 上线。它被描述为面向智能体的推理引擎,可在用户自己的硬件上编译并调优内核。其 README 声称解码速度最高可达 llama.cpp 的 2 倍,其中 Metal 上解码快 92%,CUDA 上快 19%,每个智能体占用的内存少 27%。Magnitude 可运行在 Apple Silicon、NVIDIA、AMD 或纯 CPU 上,通过一次点击即可连接 Pi、OpenCode、Hermes 和 Codex。

在一个规划尤其重要的多表连接查询上,Quail 在单块 H100 GPU 上每分钟处理超过十亿个 token(TPM/GPU),比同一硬件上作为基准的 vLLM 快 10 倍以上。

两个项目针对的是不同的瓶颈。Magnitude 面向本地智能体工作负载,限制因素在于内核能否适配消费级或工作站芯片。Quail 面向数据库工作负载,限制因素在于主机开销和 KV 缓存淘汰。Full Stack Data Lab 在医疗报告查询 BIO-4 上测得 vLLM 基准耗时 6.84 小时,是该实验室自己估算的理论最快速度 14.91 分钟的 27.55 倍。

硬件经济性仍是背景。一篇在 SOSP '26 上发表、9 月 30 日公开的论文介绍了 EnerTune,一个 GPU 共享系统。作者称,在满足性能 SLO 的前提下,相比当前最优基线,它把能耗降低到 1.4 至 2.3 分之一,把功耗降低到 1.3 至 2.6 分之一。作者认为,单纯以 GPU 利用率为优化目标反而可能推高能耗;他们还指出,在大规模下对每种配置都做性能剖析,成本高得难以承受。

标价差距依然很大

价格方面,AICostBudget 于 9 月 30 日发布 9 月指数。该指数基于 11 家供应商的 81 条冻结公开定价记录。输入价格中位数为每百万个 token 1.32 美元,输出价格中位数为 6 美元,两者之比为 5.0 倍。实际区间为输入每百万个 token 0.10 至 30 美元,输出 0.10 至 180 美元。

该指数报告称,在 58 条可比记录中,缓存输入折扣的中位数为 90%;在 44 条记录中,Batch 折扣的中位数为 50%。按供应商的输入价格中位数看,Mistral AI 最低,为 0.20 美元。DeepSeek 为 0.30 美元,Google Gemini 为 0.75 美元,Moonshot AI 为 0.95 美元,xAI 为 1.25 美元,Cohere 为 1.50 美元,OpenAI 为 2 美元,Anthropic 为 5 美元。

并非每条记录都能直接比较。AICostBudget 表示,有 17 条记录采用阶梯定价或长上下文定价,13 条记录采用按文档页数或会话时长等非 token 计费的部分,这些都被排除在 token 中位数之外。该机构还说明,其数据快照窗口始于 2026 年 7 月,并未声称全行业价格出现了年度下降。

与此同时,不优化带来的工程成本,在 Quail 的数字里看得见。该实验室称,由于 KV 后悔,vLLM 在 BIO-4 上处理了 17460 万个本不需要的 token,而 CPU 调度让 H100 处于空闲状态。Magnitude 和 Quail 想补上的,正是这些缺口,只是各自从技术栈的两端入手。

评论 0

资料来源

5
  1. 01Hitting 1B tokens/minute on 1 GPU combining a query planner and inference engineEN
  2. 02Jointly optimizing SQL queries and LLM inference for up to 14x speedupsEN
  3. 03Launch HN: Magnitude (YC S25) - Self-optimizing inference engine for agentsEN
  4. 04AI API pricing index - September 2026EN
  5. 05Beyond Utilization: Energy-Conscious GPU Sharing for Inference ServingEN

本文所有数字与引语均来自下列来源,未添加来源之外的内容。

本内容由编辑部在人工智能辅助下制作完成。

林晓雯

林晓雯

人工智能、模型与技术

林晓雯负责FLASH24的人工智能、模型与技术方向,主要写科技、人工智能与模型、媒体与互联网三个领域。她习惯从论文预印本、开源代码库和厂商技术文档入手,先核对训练数据来源和评测口径,再决定是否落笔。遇到模型跑分,她会自己复现一遍小规模测试,并对照独立第三方榜单,确认数字没有注水。她常联系一线工程师和产品经理,也盯着各大会议截稿日,把不同版本的技术报告放在一起比。业余时间她玩3D打印、折腾老电脑,还关心模型从网络垃圾里学到的偏见问题,这让她对数据清洗格外敏感。她有一条原则:拿不到原始数据的性能宣称,不写。

编辑部 →

评论

0
  1. 还没有评论——来说两句吧。

写评论

评论公开展示。我们不发布辱骂、垃圾信息和广告内容。