AI 成本新工具聚焦推理账单，GPU 定价数据激增

开发者 Flavio Copes 于 9 月 23 日发布了最新的推理成本计算器。该工具比较了来自 OpenAI、Anthropic、Google、xAI、Mistral、OpenRouter 和 Workers AI 的 27 个模型。它在相同假设下对所有模型进行排名，让团队看到低成本与高性能之间的权衡，而非仅看列表价格。计算器将产品假设转化为月度账单：日活跃用户数、每用户 LLM 调用次数、每次调用的输入和输出 token 数，以及可选的提示缓存命中率。所有功能均在浏览器中运行，分享链接仅将输入参数编码到 URL 中。

这种框架比单个数字更重要。

计算器文档明确指出，数据来自已发布的 API 费率，忽略批量定价、企业折扣、图像或工具附加费，以及客户运行的任何缓存层。它称输出结果为规划估算，而非供应商报价。对于定价工具而言，这是一个异常直白的免责声明，指出了该市场的真实状态。

同一 GPU 的两种定价方式

同一周还出现了另一类工具：将每小时 GPU 费率转换为每百万 token 成本的追踪器。FitMyLLM 从各提供商的 API 实时读取费率，每三分钟刷新一次，并在边缘缓存十分钟。其表格目前列出 47 张显卡和 74 条报价，其中 19 条为实测而非估算，并按每百万 token 成本从低到高排序。

结论反直觉。FitMyLLM 中最便宜的一行是 Vast.ai 的 RTX 3090，每小时 0.13 美元，产生每百万 token 0.291 美元的成本，标记为实测。最快的一行是 RTX 5090，速度为每秒 227 个 token，成本为每百万 token 0.576 美元，也是实测。RunPod 上公布的每小时 0.22 美元的 RTX 3090 则得出每百万 token 0.494 美元的成本。

数据中心显卡在此排名不佳，这是发现而非缺陷。H100 或 H200 通过同时服务多个流来赚取其价格；在单流情况下，其巨大的带宽大部分处于空闲状态。

FitMyLLM 明确指出，对于服务大量用户而非单一用户的场景，此排名会反转，且 H100 和 H200 的行是其最不确定的部分。它还警告，市场价格是单个主机的列表价，而非公布费率，且主机可能以低于标准功率限制的方式运行显卡。

GPUAdvisor 采取相反的方法，追踪 13 家云提供商和每节点或每 GPU 132 个实例，按区域分组并最便宜优先排序。其快照最后追踪于 9 月 28 日，显示 GPU.ai 上 RTX A4000 16GB 每小时 0.10 美元为最便宜选项，RTX 3090 24GB 为每小时 0.17 美元。它指出，GPU 专业云提供商的每 GPU 定价比超大规模云低 2 到 4 倍，GCP Spot 提供高达 70% 的 A100 和 H100 实例折扣，且一年期承诺可节省 35% 到 40%。它以与其他所有人相同的免责声明结尾：在采购前请通过提供商定价页面核实。

利用率，而非标价

Krapton Engineering 在 9 月 25 日最后更新其指南，认为决定性指标既不是每小时费率也不是 token 价格，而是利用率。如果 H100 每天闲置 60%，它仍然计费，其每次推理的有效成本也随之上升。该公司描述了一个客户案例，其对话式 AI 聊天机器人的按需 GPU 使用率在非高峰时段即使有激进的自动扩缩容也仅维持在 30% 到 40%。将可预测的基础负载迁移到预留实例并添加 Kubernetes 调度器以合并推理请求，使整体计算账单减少了 30%。

Krapton 的计算示例具有说明性，且其自身也如此承认。它模拟了一个中级 GPU 在 7B 参数模型下每秒 1000 个 token 的性能，一个说明性的每小时 0.75 美元的预留成本（50% 折扣后），以及每小时 0.25 美元的运营开销（未计入 API 成本）。它强调来自 AWS、GCP 或 Azure 的实际价格存在差异，应予以核实。这个数字是形状，而非报价。

aicost.ai 将同一问题框架化为三选一而非二元：向无服务器主机按 token 付费、按小时租用专用 GPU，或在自己的云账户上运行。其计算器默认输出速度为每秒 2500 个 token，利用率为 45%，预设选项包括现实低负载的 20% 和良好批处理的 70%。由此得出的指导是有条件的。无服务器在低或突发流量及低成本 token 模型上胜出。专用租用在稳定高流量且高成本 token 模型上胜出。自托管在极高稳定流量且使用预留或 Spot 定价时胜出，前提是你已运行基础设施。它指出，交叉点是混合每 token 价格乘以流量，对比 GPU 每小时美元数乘以集群规模。

追踪器承认遗漏了什么

这些工具中的每一个都发布了其自身的局限性，这比表格更有价值。aicost.ai 指出，所有三个 GPU 选项都假设在指定吞吐量下达到完全利用率，并排除设置、运营、网络和可靠性开销。吞吐量因模型、硬件、批量大小和提示形状而异，因此它是可编辑的输入而非常数。预留和 Spot 定价假设你确实能保持或回收容量，且 Spot 可能被中断。

FitMyLLM 指出，批量服务每 token 更便宜，且空闲显卡仍计费。它还披露提供商链接可能携带推荐码，但声明代码不改变列表内容或表格排序方式。GPUAdvisor 表示其价格大致准确，因区域和可用性而异，并反映 2026 年 9 月的估算。

实际要点很窄。9 月 28 日，GPUAdvisor 追踪器中最便宜的已发布按需选项为每小时 0.10 美元，FitMyLLM 表格中最低的实测每百万 token 成本为 0.291 美元。这两个数字都是规划输入，而非承诺，且都会随着团队输入的负载假设而变化。

这些工具在重点上也有分歧。FitMyLLM 在单流服务中将消费级显卡排在数据中心显卡之前，并称之为发现。Krapton 将预留容量视为可预测持续负载的中点。aicost.ai 仅在拥有预留或 Spot 承诺且高利用率时才认为自有云最便宜。它们没有平均出一个单一答案，因为根本不存在单一答案。

新的是假设现在暴露出来了。一年前，每小时费率是唯一公开的数字，转换为每 token 成本的过程发生在没人分享的电子表格中。从本周起，三个独立工具发布了其吞吐量数字、利用率默认值和误差范围，第四个工具发布了其估算日期。这并没有让数字变得正确。它让数字变得可辩论，这是对其编制预算的前提。