Quail称单张GPU每分钟处理十亿token,推理成本之争升温
一个研究团队称,其查询感知推理层在单张Nvidia H100 GPU上每分钟处理超过十亿token,比vLLM基线快10倍以上。这是降低大规模运行大语言模型成本的最新尝试。该声明于9月30日发布,同一天OpenAI宣布了每月500美元的ChatGPT档位,另有一个开源引擎承诺本地推理快2倍。

这些数字来自Full Stack Data Lab和Modal。两家在9月30日分别发文,介绍一个叫Quail的系统,全称是QUery-Aware Inference Layer(查询感知推理层)。Modal的博客称,在一次多表连接查询中,Quail在单张H100 GPU上每分钟处理的token超过十亿。它表示,这比同一硬件上的vLLM基线快10倍以上。在Modal上,折算下来每十亿token不到6美分。
两篇文章从不同角度描述同一个项目。Full Stack Data Lab的文章标注日期为9月24日,但9月30日才在网站上发布,文中解释了问题所在。AI-SQL在SQL基础上扩展了逐行调用模型的函数。一个过滤条件可能意味着每行一次模型调用,一次连接则可能意味着每一对行都要调用一次。该实验室的基准查询是名为QUAIL-B的测试套件中的BIO-4,跑在5000多份医疗报告和4144个反应术语上。
小模型,超大体量
Modal的文章把AI-SQL描述为智能体和聊天机器人热潮中较为安静的一个分支。它的示例查询连接客户表和产品表,提示词问的是某个客户是否会买某件产品。Modal写道,这样的查询可能产生数百万条长达数千token的序列,而这些序列往往并不需要前沿水平的智能。小型开放权重模型就能处理。据Modal说,瓶颈不在模型质量,而在于把数百万条相互关联的请求送给一个为任意用户流量而建的引擎所产生的成本。
Quail的做法是把SQL查询和推理负载放在一起规划,而不是把引擎当作通用端点。Modal称,在其新的AI-SQL基准上,相对vLLM的几何平均加速比为1.84倍。这个数字远小于每分钟十亿token的头条案例。该公司明确表示,基准中有两个查询是专门设计来暴露未来改进空间的。
“我把它看作LLM帕累托最优曲线上的一点,处在一个曾有大片隐性需求被揭示、却因追逐更高智能的竞赛而投资不足的区间(不思考、单token、可接受的低延迟智能)。”
Modal把这句引语归于Karpathy,并提到TypeSafe AI的Jev模型。同一篇文章还指出,许多数据库厂商现在都提供AI函数,包括Snowflake Cortex AISQL、BigQuery AI functions、Databricks AI Functions,以及最近的MotherDuck。
学术界的系统也一直在攻击同样的浪费。Full Stack Data Lab列出了加州大学伯克利分校的DocETL、斯坦福的LOTUS、MIT的Palimpzest和康奈尔的ThalamusDB,还点名了MOAR、Task Cascades、Abacus和BARGAIN等方法。这些方法要么减少调用次数,要么挑选更便宜的模型。实验室写道,即便如此,一个执行计划仍可能需要数十万甚至数百万次调用。
价目表与价格结构
Quail攻的是单次查询的成本,另一份9月30日发布的独立快照则追踪各家厂商的收费。AICostBudget AI API Pricing Index收录了11家厂商的81条冻结公开记录,截止时间为2026-09-30 UTC。在69条带输入token单价的记录中,观测区间从每百万token 0.10美元到30美元。输出价格从0.10美元到180美元。输入价格中位数为1.32美元,输出价格中位数为6美元,比值5.0倍。
这份指数指出了一个对任何推算推理开销的人都很重要的事实:缓存价和批量价不是可以忽略的零头。在58条可比记录中,缓存输入折扣的中位数为90%。在44条支持批量的记录中,批量折扣的中位数为50%。报告称,忽略这两项的负载比较,会漏掉大批被追踪记录已公布的省钱模式。快照中的厂商层面中位数包括:OpenAI在18条记录上输入2美元、输出11美元;Google Gemini在14条记录上为0.75美元和4.125美元;Anthropic在13条记录上为5美元和25美元。Mistral AI、DeepSeek、Cohere和Moonshot AI也在其中。
同一天,终端用户价格却朝相反方向走。Business Insider报道,OpenAI在周二的DevDay上宣布了新的Pro 500档,每月500美元,比此前最高档贵300美元。该档包含在ChatGPT Work和Codex中使用GPT-6 Astra的“Ultrafast”算力,并称Codex快8倍。OpenAI还重新开放了200美元的Pro档,但把算力额度砍半至20美元Plus档的10倍,此前是20倍。GPT-6 Pro的聊天消息从每周200条减到100条。Codex工程负责人Thibault Sottiaux周一在X上发帖称,调整后相比原方案,API支出按美元计净减一半。
硬件这边的情况更乱。YC S25公司Magnitude的GitHub发布帖称,其开源引擎在用户设备上调优内核,运行开放模型比llama.cpp快最多2倍。帖子列举了Metal上解码快92%、CUDA上快19%,以及每个智能体少用27%内存。这些是厂商自测,不是独立测试,帖子没有给出第三方验证。
另外,Prasoon Sinha、Dimitrios Liakopoulos、Nathan Lemma和Neeraja J. Yadwadkar的SOSP '26论文《Beyond Utilization》认为,单纯以利用率为目标优化GPU集群反而可能推高能耗。论文提出一个叫EnerTune的系统,称其相比最先进的基线把能耗降低1.4至2.3倍,功耗降低1.3至2.6倍。论文于9月28日发表。9月30日,CleanTechnica报道了Transport & Environment的分析:欧洲的电动车司机每公里花费不到柴油车司机的一半,柴油每箱油比年初贵32欧元,其中约16欧元来自炼油利润。
资料来源
10- 01Jointly optimizing SQL queries and LLM inference for up to 14x speedupsEN
- 02Hitting 1B tokens/minute on 1 GPU combining a query planner and inference engineEN
- 03AI API Pricing Index - September 2026EN
- 04ChatGPT's new plan costs $500 a monthEN
- 05Launch HN: Magnitude (YC S25) - Self-optimizing inference engine for agentsEN
- 06Beyond Utilization: Energy-Conscious GPU Sharing for Inference ServingEN
- 07Driving An EV Now Costs Half As Much As Diesel, New Analysis ShowsEN
- 08Mind-1: Cutting robot inference latency from 82ms to 32msEN
- 09The pricing calculator made people more confused about pricingEN
- 10Singapore, New Zealand operators seek partnerships to cut costsEN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。