跳到正文
世界时间EU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

关于人工智能与技术的门户事件 · 分析 · 访谈 · 技术背景

搜索
直播
›

推理成本分成两笔账:每 token 更便宜,每块 GPU 更贵

Y Combinator S25 孵化公司 Magnitude 于 9 月 30 日发布开源推理引擎。公司称,在 Apple Silicon、NVIDIA、AMD 或普通 CPU 上运行开放模型,速度比 llama.cpp 快至多 2 倍,且不产生 token 费用。同一天,一份覆盖 81 条公开价格记录的指数显示,输出价格中位数为每 100万 tokens 6 美元,输入为 1.32 美元。

人工智能与模型解释王雅琴发布: 2026年9月30日6 分钟阅读资料来源 10
推理成本分成两笔账:每 token 更便宜,每块 GPU 更贵

Magnitude 的代码库于 9 月 30 日上线。做法很直接:模型运行之前,引擎先在你的设备上编译并调优内核,而不是为一大类硬件预先编译二进制文件。公司报告称,在 Metal 上解码比 llama.cpp 快 92%,在 CUDA 上快 19%;每个 agent 占用的内存少 27%,agent 停止后即释放。许可证为 Apache 2.0。

这是对成本问题的一种回答:不再按 token 付费。

但它不是唯一的答案,也不是本周其余材料指向的那个答案。Quail 是 DocETL 背后的 Full Stack Data Lab 团队打造的推理引擎,盯的是账单的另一半。作者认为,AI-SQL 查询每行或每对行就要调用一次 LLM,通用引擎在这类场景下表现很差。他们写道,把海量彼此相关的模型调用当作独立请求发给 vLLM,代价很高。Quail 的做法是把查询规划和推理放在一起做。

数字很具体。在一个规划最吃重的多表连接查询上,Quail 在单块 H100 GPU 上每分钟处理超过十亿 tokens。团队称,这比同硬件上 vLLM 的基线快 10 倍以上。在 Modal 上折算下来,每十亿 tokens 不到 6 美分。在团队自己的 AI-SQL 基准上,提升要小一些:几何平均后比 vLLM 快 1.84 倍,其中包含两个他们专门设计来暴露 AI-SQL 推理短板的查询。

每 token 价格不是全部账单

AICostBudget 的 9 月指数以 9 月 30 日 UTC 为截止点冻结,覆盖 11 家供应商的 81 条公开价格记录。在 69 条带有当前输入 token 单价的记录中,价格区间为每 100万 tokens 0.10 到 30 美元。输出为 0.10 到 180 美元。输入价格中位数是 1.32 美元,输出中位数是 6 美元。在同时给出两者的 69 条记录上,比值为 5.0 倍。

各家供应商的中位数差距很大。OpenAI 的 18 条输入记录和 18 条输出记录,中位数分别为 2 美元和 11 美元。Google Gemini 各有 14 条,中位数为 0.75 美元和 4.125 美元。Anthropic 的 13 条记录中位数为 5 美元和 25 美元。xAI 的 9 条为 1.25 美元和 2.50 美元,Mistral 的 7 条为 0.20 美元和 0.60 美元,DeepSeek 的 3 条为 0.30 美元和 1.20 美元。

指数还标出了简单对比容易漏掉的东西。在 58 条可比记录上,缓存输入折扣的中位数为 90%;在 44 条支持 Batch 的记录上,Batch 输入折扣中位数为 50%。报告自己的说法很直接:忽略缓存和 Batch 定价的工作负载对比,等于漏掉了大量被跟踪记录已公开的省钱模式。报告还补充说,文档页数、存储、会话时长等按时间计价的单位无法安全地压进一张只有 token 的表里。对任何想搭一张单一每 token 成本排行榜的人来说,这话值得记下。

这些定价数据是一个快照,不是市场出清价。GPU 产能正在另一条线上变动。

GPU 的钱花到哪里去了

Business Insider 9 月 30 日报道,OpenAI 在周二的 DevDay 上宣布了每月 500 美元的 ChatGPT 档位,比公司此前最贵的方案高出 300 美元。该档位为 ChatGPT Work 和 Codex 中的 GPT-6 Astra 提供“Ultrafast”算力。OpenAI 称,这在 Codex 上是 8 倍提速,并包含公司最高的额度。Business Insider 还报道,OpenAI 重新开放每月 200 美元的 Pro 方案,同时把算力额度砍半,从 20 倍于每月 20 美元的 Plus 方案降到 10 倍,并把 GPT-6 Pro 的每周聊天消息数从 200 条减到 100 条。Codex 工程负责人 Thibault Sottiaux 在周一的 X 帖子里说,这些调整折算下来,API 支出是此前方案的一半。

硬件这一侧,9 月 28 日发表的 SOSP '26 论文由 Prasoon Sinha、Dimitrios Liakopoulos、Nathan Lemma 和 Neeraja J. Yadwadkar 撰写,其论点与惯用的利用率指标相悖。GPU 很贵,推理集群却仍然大量闲置,于是系统采用多路复用。但作者写道,只盯着利用率优化,反而可能推高能耗。他们的系统 EnerTune 把每个模型的性能和功耗分析模型放进一个能耗感知的装箱算法,其中也包括共享 GPU 上同驻模型的功耗。报告称,在满足性能 SLO 的前提下,能耗比当前最优基线低 1.4 到 2.3 倍,功耗低 1.3 到 2.6 倍。

这是一个关于多数 token 价格表都不显示的那笔账的成本主张。

机器人领域在另一个场景里玩同一套。MindOn 于 9 月 30 日发布的 Mind-1 把推理延迟从 82ms 降到 32ms,依据是公司自己的说明。帖子解释了这件事为什么重要:末端执行器速度为 3 m/s 时,10ms 延迟大约对应 3cm 的位移,足以影响精确抓取、插入或接触密集的操作。MindOn 还提到训练数据的节奏,认为遥操作演示比自然人体动作慢,而模型会把节奏连同任务一起学进去。

两笔账单,两种策略

Pinecone 在一款价格计算器上的经历由 Gabriel Kogan 于 9 月 30 日讲述。它提醒人们:客户看到的价格数字本身就是产品决策。那款计算器因为一处误读,给出的估价最高夸大了 1000 倍,还让用户产生虚假的信心,不再去查文档。公司做 A/B 测试、把它去掉后,没看到计算器的访客注册率高出 16%,联系公司的比例高出 90%,而价格相关的客服工单没有增加。在一次内部投票中,每 10 名员工里有 7 人认为带计算器的版本表现会更好。

另外两个数据点不在 AI 栈里,但框定的是同一个论点:用资本替代燃料。CleanTechnica 于 9 月 29 日分析称,Transport & Environment 表示电动车司机每公里付出的费用不到柴油车司机的一半。依据是柴油 6.9 L/100 km、纯电 20.2 kWh/100 km,以及每 kWh 0.343 欧元的电价。该组织的 Antony Froggatt 说,柴油车司机每箱油比年初多付 32 欧元,其中约 16 欧元来自炼油利润率的上涨。

Light Reading 9 月 30 日报道,StarHub 与 M1 在新加坡进行合并谈判,合并后的实体规模大致与 Singtel 相当;新西兰的 2degrees 与 OneNZ 也提议合并各自的无线网络。中国电信与中国联通的 5G 共建共享是此类交易中最大的一笔,覆盖 150万 个基站,号称节省了 560亿 美元资本开支。这些都不是 AI 推理。但它们都是同一笔交易:共享固定资产,压低边际成本。

对买家来说,当下的分界已经清楚。公开价目表上的每 token 价格在下降,缓存和 Batch 模式让它降得更多。每 GPU 小时成本是另一个市场,而本周的研究表明,其中大部分仍被浪费。Magnitude 的本地内核和 Quail 的查询规划器都解决不了这一点。它们只是把计价器挪了个位置。

评论 0

资料来源

10
  1. 01Launch HN: Magnitude (YC S25) – Self-optimizing inference engine for agentsEN
  2. 02Hitting 1B tokens/minute on 1 GPU combining a query planner and inference engineEN
  3. 03Jointly optimizing SQL queries and LLM inference for up to 14x speedupsEN
  4. 04AI API pricing index - September 2026EN
  5. 05ChatGPT's new plan costs $500 a monthEN
  6. 06Beyond Utilization: Energy-Conscious GPU Sharing for Inference ServingEN
  7. 07Mind-1: Cutting robot inference latency from 82ms to 32msEN
  8. 08The pricing calculator made people more confused about pricingEN
  9. 09Driving An EV Now Costs Half As Much As Diesel, New Analysis ShowsEN
  10. 10Singapore, New Zealand operators seek partnerships to cut costsEN

本文所有数字与引语均来自下列来源,未添加来源之外的内容。

本内容由编辑部在人工智能辅助下制作完成。

王雅琴

王雅琴

人工智能、模型与技术

王雅琴负责FLASH24的人工智能、模型与技术报道,覆盖科技、人工智能与模型、媒体与互联网领域。她习惯直接查阅技术文档、模型卡与官方博客,而非依赖新闻稿,对未经核实的参数和跑分数据一概不放行。每篇报道前,她会逐项核对基准测试结果,对照论文原文与开源代码,确认版本号、数据集和评测条件是否一致。她常联系开发者与研究人员求证细节,也盯着各大厂商的发布会和论文截稿日期,横向比较同类模型的实际表现。私下她自建服务、折腾家庭网络,这让她对部署成本和真实算力需求有直观判断。她的原则是:没有可复现来源的数字,不写进稿子。

编辑部 →

评论

0
  1. 还没有评论——来说两句吧。

写评论

评论公开展示。我们不发布辱骂、垃圾信息和广告内容。