跳到正文
世界时间EU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

关于人工智能与技术的门户事件 · 分析 · 访谈 · 技术背景

搜索
直播
›

Quail称单张H100每分钟处理10亿token,推理成本走向分化

两款新推理引擎声称在同一套GPU硬件上把效率提高了一个数量级。与此同时,OpenAI新的500美元订阅方案和一份9月的价格快照显示,按token计价的市场仍在朝相反方向移动。

人工智能与模型新闻王雅琴发布: 2026年9月30日7 分钟阅读资料来源 10
Quail称单张H100每分钟处理10亿token,推理成本走向分化

9月30日,Full Stack Data Lab发布博客,介绍Quail。这是一个专为AI-SQL打造的推理引擎。AI-SQL是SQL的扩展,让查询可以逐行调用大语言模型。团队称,在一条多表连接查询上,单张H100 GPU每分钟处理超过10亿个token。在一套全新的AI-SQL工作负载基准测试中,Quail相对vLLM的几何平均加速比为1.84倍。

这是最抓眼球的数字,也是一个范围很窄的数字。

每分钟10亿token来自单条查询,团队说这条查询“计划环节尤其重要”,它并不是平均值。作者作为一般性结果给出的,是范围更广的基准数字1.84倍。同一天,Y Combinator S25公司Magnitude发布了一款开源推理引擎。它会在模型运行之前,先针对用户自己的硬件调优内核。其GitHub README声称比llama.cpp最高快2倍,在Apple Metal上解码快92%,在CUDA上快19%,每个agent的内存占用少27%。项目以Apache 2.0许可发布,可运行在Apple Silicon、NVIDIA、AMD或纯CPU上。

这些数字实际比较的是什么

两家的说法都不是关于推理价格的普遍结论。Magnitude以通用引擎llama.cpp为基准,把优势归功于针对热门开放权重模型系列手写的内核。Quail以vLLM为基准,把优势归功于对SQL查询计划和推理引擎的联合优化。这样一来,数百万条相关的模型调用共享前缀缓存,而不是作为彼此独立的请求抵达。

Full Stack Data Lab那篇标注日期为9月24日的文章直接点出了成本问题。SQL查询里的AI函数按行计算提示词,所以一个过滤条件需要每行调用一次LLM,一次朴素的连接则需要为两个输入中每一对行各调用一次。

团队的基准查询BIO-4,把5000多份长篇医疗报告与4144个反应术语做连接。作者称,把这些调用作为独立请求发给通用引擎,成本很高。他们的做法是在查询层面做计划。Modal关于同一项工作的博客把账算得更直白:在Modal硬件上跑那条每分钟10亿token的查询,每10亿token成本不到6美分。这个数字是厂商对自己平台给出的数字,而且只覆盖一种查询形态,不代表典型工作负载。

不同的推理应用产生不同的推理工作负载,AI-SQL也不例外。像上面这样的查询,可能产生数百万条、每条数千token的序列。

订阅定价朝相反方向走

在消费端,OpenAI走的是另一个方向。据Business Insider报道,公司在周二的DevDay上宣布了每月500美元的Pro 500档,比此前最高档贵300美元。该档包含在ChatGPT Work和Codex中使用GPT-6 Astra的“Ultrafast”算力。OpenAI称这在Codex中是8倍的速度提升,同时这也是公司包含用量最高的档位。

OpenAI还重新开放了200美元的Pro方案,但把算力额度减半。

额度现在是20美元Plus方案的10倍,此前为20倍;GPT-6 Pro的聊天消息从每周200条降到100条。Codex工程负责人Thibault Sottiaux周一在X上发帖称,这些调整算下来,相当于API支出只有此前方案的一半金额。据Business Insider引用,他写道:“我想提前把这一变化告诉大家,让你们在我们带来好消息之前先弄明白它。”两个动作指向相反的方向:200美元档位每token更便宜,而最上面多了一个贵得多的档位。现有Pro订阅用户在过渡期会获得一次性抵扣。

AICostBudget在9月30日单独发布的一份快照覆盖11家供应商的81条公开价格记录。中位输入价格为每百万token 1.32美元,中位输出价格为6美元。在有输入标量的69条记录中,观察到的区间是0.10到30美元,输出为0.10到180美元。输出通常是标价中更高的部分,输出与输入的中位比值为5.0倍。

同一数据集显示,58条可比记录的中位缓存输入折扣为90%,44条记录的中位Batch输入折扣为50%。正是在这部分市场,实际价格可能与标价严重背离,而粗略的成本比较通常会漏掉这一点。

硬件、能耗与栈的其余部分

效率工作不只是每秒多少token。9月28日在SOSP '26上发表的一篇论文介绍EnerTune,这是一个服务系统。它对每个模型的功耗以及共享GPU上同置模型的功耗建模,再用能耗感知的装箱算法来放置和配置模型。作者报告称,在满足性能SLO的前提下,能耗比当前最优基线低1.4到2.3倍,功耗低1.3到2.6倍。他们的论点是,单纯追求利用率可能推高能耗,而当账单不只按token计算时,这一点很要紧。

机器人方面,MindOn在9月30日推出Mind-1,称这款物理AI模型把机器人推理延迟从82ms降到32ms。

公司指出,在末端执行器速度3 m/s的情况下,10ms延迟大约对应3cm的位移,足以影响精确抓取。这与数据中心推理是不同的市场,但约束相同:延迟和成本由整条流水线决定,而不只是模型。

电信运营商在基础设施成本上走的是类似逻辑。Light Reading在9月30日报道,StarHub与M1在新加坡进行合并谈判,两家已通过名为Antina的合资公司共享5G频谱和无线接入网。在新西兰,2degrees和OneNZ提议把各自的无线网络合并为一家共同持股的实体。文章引用Singtel在6月据报占新加坡移动市场43%的份额,M1为22%,StarHub为21%,Simba为14%,并称StarHub与M1合并后的规模将与Singtel相当。中国电信与中国联通的5G合作被列为此类共享交易中最大的一笔,覆盖150万个基站,据称节省了560亿美元资本开支。

并非每次靠增加机制来降成本的尝试都奏效。Gokul Kogan在9月30日发布的一篇文章讲述了Pinecone如何在A/B测试后撤掉基于用量的价格计算器。据文章所述,没看到计算器的访客注册的可能性高16%,联系公司的可能性高90%,而定价相关的支持工单并未增加。在一次内部投票中,十名员工里有七人预计带计算器的版本表现更好。这个教训对任何为按token计价的服务做成本估算器的人都是一个提醒:一个错了一个数量级的估算,可能直接丢掉客户。

把这些放在一起看,与其说是单一价格在下跌,不如说是一组工程押注。Quail押的是查询感知的批处理。Magnitude押的是按设备编译内核。EnerTune押的是功耗感知的放置。OpenAI在试探少数重度用户愿意为速度付多少钱,而它更便宜的档位拿到的算力比以前少。整份材料里唯一稳定的数字是账单的形状:输出token比输入贵,缓存和批量折扣很大,而任何单一基准给出的头条数字,都只描述一台机器、一天、一条查询。

评论 0

资料来源

10
  1. 01Jointly optimizing SQL queries and LLM inference for up to 14x speedupsEN
  2. 02Hitting 1B tokens/minute on 1 GPU combining a query planner and inference engineEN
  3. 03Launch HN: Magnitude (YC S25) - Self-optimizing inference engine for agentsEN
  4. 04ChatGPT's new plan costs $500 a monthEN
  5. 05AI API pricing index - September 2026EN
  6. 06Beyond Utilization: Energy-Conscious GPU Sharing for Inference ServingEN
  7. 07Mind-1: Cutting robot inference latency from 82ms to 32msEN
  8. 08Singapore, New Zealand operators seek partnerships to cut costsEN
  9. 09The pricing calculator made people more confused about pricingEN
  10. 10Driving An EV Now Costs Half As Much As Diesel, New Analysis ShowsEN

本文所有数字与引语均来自下列来源,未添加来源之外的内容。

本内容由编辑部在人工智能辅助下制作完成。

王雅琴

王雅琴

人工智能、模型与技术

王雅琴负责FLASH24的人工智能、模型与技术报道,覆盖科技、人工智能与模型、媒体与互联网领域。她习惯直接查阅技术文档、模型卡与官方博客,而非依赖新闻稿,对未经核实的参数和跑分数据一概不放行。每篇报道前,她会逐项核对基准测试结果,对照论文原文与开源代码,确认版本号、数据集和评测条件是否一致。她常联系开发者与研究人员求证细节,也盯着各大厂商的发布会和论文截稿日期,横向比较同类模型的实际表现。私下她自建服务、折腾家庭网络,这让她对部署成本和真实算力需求有直观判断。她的原则是:没有可复现来源的数字,不写进稿子。

编辑部 →

评论

0
  1. 还没有评论——来说两句吧。

写评论

评论公开展示。我们不发布辱骂、垃圾信息和广告内容。