跳到正文
世界时间EU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

关于人工智能与技术的门户事件 · 分析 · 访谈 · 技术背景

搜索
直播
›

推理成本工具层出不穷,GPU价格却依旧不透明

9月23日上线的一个浏览器端计算器,用同一套假设比较了27个模型的推理成本。作者本人提醒,它给出的是规划估算,不是厂商报价。几天后,另一项基准测试把运行一个模型一小时的费用放到了同样的聚光灯下。

人工智能与模型分析王雅琴发布: 2026年9月28日3 分钟阅读资料来源 5
推理成本工具层出不穷,GPU价格却依旧不透明

推理成本之争的最新参与者不是一份定价公告,而是一个计算器。Flavio Copes 于9月23日发布了推理成本计算器,在完全相同的假设下,对来自 OpenAI、Anthropic、Google、xAI、Mistral、OpenRouter 和 Workers AI 的27个模型进行排名。

你可以设定日活用户数、每用户调用次数、每次调用的输入与输出 token 数,以及可选的提示缓存命中率。工具会算出每月账单。它同时提醒,这些数字来自公开的 API 价格,忽略了批量定价、企业折扣、图像或工具附加费,以及你自己搭建的任何缓存层。

这条免责说明比排名本身更重要。

给一小时思考定价的基准测试

9月26日,StarSkirmish 发布了另一种成本比较。该基准给每个大模型一小时时间,用 C++ 为《星际争霸:母巢之战》编写一个神族机器人,然后让这些机器人互相对战,也与人类编写的对手对战。参赛阵容包括来自10个模型的50个 LLM 机器人,加上3个演示机器人和9个竞技级人类编写机器人,共62个参赛者,运行在 Prime Intellect 沙箱上。

根据项目自己的说明,GPT-6 Astra 与 Claude Opus 5.5 在榜首位置实际上并列,GPT-6 Sol 与它们同处一档,明显高于其余选手。基准还把得分与单次一小时运行的平均 API 成本画在对数坐标上,并指出在这一比较中 GPT-6 Sol 的性价比格外突出。

这是按能力而非按 token 计成本的框架。它也承认一个局限:作者表示,最先进的推理模型如今能从超过一小时的推理时长中明显受益,更长时间的版本已在计划中。

公开数字为何难以信任

这两个来源都没有给出 GPU 价格。关于这一点,档案里还有 Nexlab 于9月20日发布的一份评测,比较了 LocalAI、exo、GPUStack、vLLM、Ollama、Xinference 和 CoderAI 等自托管编排工具。其 star 数取自9月20日的 GitHub API。作者明确表示,凡是无法确认的功能,表格就照实写明,而不是猜测。

这份评测中有用的区分与价格无关。它区分了一个模型能否跨多台机器运行,后续一轮请求是否被路由到其 KV 或前缀缓存所在的位置,以及服务器能否自行租用 GPU。在该快照中拥有 92000 个 star 的 vLLM 支持基于 Ray 的张量与流水线并行,并按实例做前缀缓存。拥有 181000 个 star 的 Ollama 一次只处理一台机器和一个模型,除了在 Open WebUI 后面轮询多个地址之外,没有集群方面的方案。

钱花在硬件上,不在软件上。巴西的光伏市场不是 AI 故事,但 pv magazine 在9月26日报道,根据 Greener 的分布式能源解决方案研究,2026年1月至6月,该国 300 kW 以下项目的平均光伏系统价格上涨了7%。4 kW 系统的套件成本上涨18.3%,从每瓦 1.42 雷亚尔升至每瓦 1.68 雷亚尔。

不同的大宗商品,同一个问题:头条数字变动,是因为零部件在变动。

研究怎么说产出这一端

成本图景中还有一块落在需求侧。一篇9月14日提交到 arXiv、9月17日修订的论文 SlopShape 描述了一种 214 维特征的检测工具,仅凭结构特征识别 AI 生成的商业网页内容。由大模型执行,并以人工标注做验证,它在留出公司上的宏平均 F1 达到 98.0,当每条 AI 帖子都被其自身模型改写后仍达到 98.1。作者是 Sitefire 的 Jochen Madler。

推理越便宜,产出的文本就越多。检测这些文本如今是一项有公开准确率、可度量的任务,这本身就是一种基础设施成本。

这些来源没有就推理应该花多少钱达成一致,因为它们测量的不是同一件事。计算器测的是一张假设的账单。基准测的是每一小时 API 支出换来的能力。编排工具评测测的是功能,不是发票。任何单一数字都只能当作起始假设。

评论 0

资料来源

5
  1. 01Inference Cost CalculatorEN
  2. 02StarSkirmish BenchEN
  3. 03Self-hosted inference orchestrators compared: LocalAI, exo, GPUStack, vLLMEN
  4. 04PV system costs increase by 7% in Brazil in H1EN
  5. 05SlopShape: Identifying AI-Generated Commercial Web ContentEN

本文所有数字与引语均来自下列来源,未添加来源之外的内容。

本内容由编辑部在人工智能辅助下制作完成。

王雅琴

王雅琴

人工智能、模型与技术

王雅琴负责FLASH24的人工智能、模型与技术报道,覆盖科技、人工智能与模型、媒体与互联网领域。她习惯直接查阅技术文档、模型卡与官方博客,而非依赖新闻稿,对未经核实的参数和跑分数据一概不放行。每篇报道前,她会逐项核对基准测试结果,对照论文原文与开源代码,确认版本号、数据集和评测条件是否一致。她常联系开发者与研究人员求证细节,也盯着各大厂商的发布会和论文截稿日期,横向比较同类模型的实际表现。私下她自建服务、折腾家庭网络,这让她对部署成本和真实算力需求有直观判断。她的原则是:没有可复现来源的数字,不写进稿子。

编辑部 →

评论

0
  1. 还没有评论——来说两句吧。

写评论

评论公开展示。我们不发布辱骂、垃圾信息和广告内容。