跳到正文
世界时间EU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

关于人工智能与技术的门户事件 · 分析 · 访谈 · 技术背景

搜索
直播
›

推理引擎 Quail 每分钟突破 10 亿 token,供应商价格同步上涨

全栈数据实验室(Full Stack Data Lab)开发的推理引擎 Quail 在 9 月 30 日公布的结果中,用一块 H100 GPU 每分钟处理超过 10 亿个 token,速度是同一硬件上 vLLM 基线的 10 倍以上,在 Modal 上每 10 亿 token 成本不到 6 美分。

人工智能与模型新闻林晓雯发布: 2026年9月30日7 分钟阅读资料来源 9
推理引擎 Quail 每分钟突破 10 亿 token,供应商价格同步上涨

这组数字出现时,GPU 算力正变得越来越贵。据报道,AWS 已提示自 10 月 7 日起 GPU 算力价格上涨 15%;另据不同报道,Nebius 在 9 月下旬把推理价格上调了 18.3%。在这样的背景下,一批推理层项目本周公布了基准测试,从软件一侧压低成本。

Quail 是 QUery-Aware Inference Layer 的缩写,出自全栈数据实验室。团队称它是对 SQL 查询规划器与推理引擎的联合优化,专为 AI-SQL 打造:SQL 扩展了可调用大模型的用户自定义函数。引擎自己的基准报告称,按任务做几何平均后比 vLLM 快 1.84 倍,其中还包含作者特意设计的两条查询,用来暴露 AI-SQL 推理目前仍需改进的地方。

这类负载和聊天机器人完全不是一回事。

据该实验室 9 月 30 日发布的技术文章,AI 函数逐行评估提示词,因此一条 SQL 查询可能产生数十万乃至数百万次模型调用。一个过滤条件每行需要一次大模型调用;一次朴素连接则要为两张输入表的每一对行各调用一次。文章认为,把这些请求分别发给 vLLM 这类通用引擎开销很大,因为请求之间共享的前缀本可以复用。

实验室在 QUAIL-B 基准中的 BIO-4 查询说明了规模:5000 份长篇医疗报告与 4144 个反应术语做连接,反应列表在两次连接中各用一次。执行计划先筛出心血管和神经系统反应的术语集,再把保留下来的报告分别与它们连接。若按朴素方式执行,每个过滤输入要一个提示词,每一对候选的报告与反应也要一个提示词。

Quail 的办法是让规划器和引擎互相感知。Quail 以 0.1.0 版本发布,附带一个示例:在 h100-sxm 设备上用 qwen3-4b-fp8 对 IMDB 数据集执行查询。引擎的基准报告给出的每分钟 10 亿 token 数字来自一条多连接查询,规划在这类查询里最关键,速度比相同硬件上的 vLLM 基线快 10 倍以上。

托管演示的 Modal 给出的成本是每 10 亿 token 不到 6 美分。这个数字对应特定的查询形态:小型开放权重模型处理短小、有界的判断,而不是长链条的智能体流程。实验室作者点名了同领域的学术系统,包括加州大学伯克利分校的 DocETL、斯坦福的 LOTUS、麻省理工的 Palimpzest 和康奈尔的 ThalamusDB,并提到 MOAR、Task Cascades、Abacus 和 BARGAIN 等方法在减少调用次数和模型规模上的贡献。

他们的主张是,即便经过这些优化,一个执行计划仍可能需要数十万乃至数百万次调用,这正是专用引擎的价值所在。

瞄准本地硬件的并不只有 Quail。YC S25 公司 Magnitude 在 9 月 30 日推出面向智能体的开源推理引擎,以 Apache 2.0 协议发布在 GitHub 上。其 README 称开放模型运行速度最高可达 llama.cpp 的 2 倍,具体是 Metal 上解码快 92%,CUDA 上快 19%。做法是在模型运行前先在用户自己的设备上编译并调优内核,而不是为各种硬件类别预先编译好内核。

Magnitude 还称每个智能体的内存占用减少 27%,智能体停止时即释放,并支持并发会话之间共享前缀缓存。它支持 Apple Silicon、NVIDIA、AMD 或纯 CPU,可接入 Pi、OpenCode、Hermes、OpenClaw、Codex、Claude Code、Oh My Pi 和 Cline,其他工具可用 OpenAI 兼容接口。公司表示提示词、文件和模型都留在本机,模型下载完成后无需联网。

两个项目算的是同一笔账:把推理从按量计费的云端接口挪到买家已经拥有、或以固定费率租用的硬件上。定价数据说明了这种说法为何有市场。

AICostBudget 的 9 月价格指数以 9 月 30 日为截止日,覆盖 11 家供应商的 81 条公开记录。69 个非空标量值的输入价格中位数为每百万 token 1.32 美元,输出价格中位数为 6 美元。输出价格中位数是输入的 5.0 倍。区间很宽:输入从每百万 token 0.10 美元到 30 美元,输出从 0.10 美元到 180 美元。

该指数还量化了让标价产生误导的折扣结构。在 58 条可比记录中,缓存输入折扣中位数为 90%,观测区间为 75% 到 98%。在 44 条支持批处理的记录中,Batch 输入折扣中位数为 50%,观测区间为 20% 到 50%。报告自己的结论很直接:忽略缓存和 Batch 定价的负载对比,会漏掉很大一部分被跟踪记录中已公开的省钱方式。

同一数据集中各供应商的中位数是:OpenAI 18 条记录,输入 2 美元、输出 11 美元;Google Gemini 14 条,0.75 美元和 4.125 美元;Anthropic 13 条,5 美元和 25 美元;xAI 9 条,1.25 美元和 2.5 美元;Mistral AI 7 条,0.20 美元和 0.60 美元;DeepSeek 3 条,0.30 美元和 1.2 美元;Moonshot AI 3 条,0.95 美元和 4 美元;Cohere 2 条,1.5 美元和 5.75 美元。报告提醒,文档页数、存储、会话时长等按时间计费的单位无法折算进只按 token 计算的表格,另有 13 条记录包含非 token 计费成分。

并非所有成本问题都出在定价上。9 月 28 日在 SOSP '26 上发表的论文认为,只按利用率优化 GPU 集群反而可能推高能耗。作者 Prasoon Sinha、Dimitrios Liakopoulos、Nathan Lemma 和 Neeraja J. Yadwadkar 提出 EnerTune,它用每个模型的性能与功耗分析模型,加上共享 GPU 上同置模型的功耗,嵌入一个能耗感知的装箱算法,把放置位置和配置一起选定。

论文摘要称,在满足性能 SLO 的前提下,相比现有最优基线,能耗降低 1.4 倍到 2.3 倍,功耗降低 1.3 倍到 2.6 倍。论文指出,在规模化场景下为每个模型在数百种配置上做性能剖析代价太高,因此该方法依靠模型而非实测。

在物理 AI 中,约束是延迟而非吞吐。MindOn 在 9 月 30 日发布 Mind-1,称把机器人推理延迟从 82ms 降到 32ms。公司文章指出,末端执行器速度 3 m/s 时,10ms 延迟约对应 3cm 位移,足以影响精确抓取、插入或接触丰富的操作。MindOn 还提到训练数据的节奏问题:大量操作数据来自遥操作,比自然人动作慢,模型在学任务的同时也学会了这种节奏。

同样的效率逻辑也出现在 AI 之外。CleanTechnica 9 月 29 日报道,Transport & Environment 的分析认为电动车每公里运行成本不到柴油车的一半,依据是柴油油耗 6.9 L/100 km、电动车电耗 20.2 kWh/100 km,电价 0.343 欧元/kWh。T&E 的 Antony Froggatt 表示,欧盟应对石油利润征税,用于补贴低收入家庭和报废置换计划。T&E 自己的方法学说明,其充电成本估算很可能偏高。

电信运营商正通过整合走同一条路。Light Reading 9 月 30 日报道,StarHub 与 M1 在新加坡进行合并谈判,两家此前已通过合资公司 Antina 共享 5G 频谱和无线接入网。据报道,Singtel 在 6 月占据 43% 的移动市场份额,M1 为 22%,StarHub 为 21%,Simba 为 14%。在新西兰,2degrees 和 OneNZ 提议把无线网络合并为一家合资实体,商业委员会的裁决预计明年作出。Light Reading 以中国电信与中国联通的 5G 合作为例,称这是此类合作中规模最大的,覆盖 150 万个基站,据称节省资本开支 560 亿美元。

Quail 的吞吐能否变成普通 AI-SQL 用户更低的账单,目前还没有定论。每分钟 10 亿 token 的数字来自一条特意挑选的多连接查询,因为规划在这类查询中最重要;而引擎在整个任务集上的平均基准是 1.84 倍,不是 10 倍。实验室自己也放进了两条用来暴露当前弱点的查询。Quail 目前是 0.1.0 版本。

评论 0

资料来源

9
  1. 01Jointly optimizing SQL queries and LLM inference for up to 14x speedupsEN
  2. 02Hitting 1B tokens/minute on 1 GPU combining a query planner and inference engineEN
  3. 03AI API pricing index - September 2026EN
  4. 04Launch HN: Magnitude (YC S25) - Self-optimizing inference engine for agentsEN
  5. 05Beyond Utilization: Energy-Conscious GPU Sharing for Inference ServingEN
  6. 06Mind-1: Cutting robot inference latency from 82ms to 32msEN
  7. 07The pricing calculator made people more confused about pricingEN
  8. 08Driving An EV Now Costs Half As Much As Diesel, New Analysis ShowsEN
  9. 09Singapore, New Zealand operators seek partnerships to cut costsEN

本文所有数字与引语均来自下列来源,未添加来源之外的内容。

本内容由编辑部在人工智能辅助下制作完成。

林晓雯

林晓雯

人工智能、模型与技术

林晓雯负责FLASH24的人工智能、模型与技术方向,主要写科技、人工智能与模型、媒体与互联网三个领域。她习惯从论文预印本、开源代码库和厂商技术文档入手,先核对训练数据来源和评测口径,再决定是否落笔。遇到模型跑分,她会自己复现一遍小规模测试,并对照独立第三方榜单,确认数字没有注水。她常联系一线工程师和产品经理,也盯着各大会议截稿日,把不同版本的技术报告放在一起比。业余时间她玩3D打印、折腾老电脑,还关心模型从网络垃圾里学到的偏见问题,这让她对数据清洗格外敏感。她有一条原则:拿不到原始数据的性能宣称,不写。

编辑部 →

评论

0
  1. 还没有评论——来说两句吧。

写评论

评论公开展示。我们不发布辱骂、垃圾信息和广告内容。