Inference Academy 基准测试:DeepSeek V4 Flash 冷请求成本高出 14.9 倍
据 inference.academy 9 月 7 日发布的一项服务基准测试,同一个提示词向 DeepSeek V4 Flash 发送两次,第二次的成本可以低 14.9 倍。测试覆盖 14 家服务商和三种输入规模。

这次测量与回答质量无关。inference.academy 用同一套受控设置,分别对准 1万、10万、100万输入 token 的目标,每种目标搭配 100 或 1000 输出 token 的预算。温度设为零,推理功能关闭。冷请求使用唯一的提示词前缀,热请求重复同一个提示词。该网站把这些结果称为服务测量,而不是任务质量评分。
成本的定义是请求总费用除以输入 token 数,再乘以 1M,其中包含输出费用。服务商页面上标注的输入价格并不是这项基准比较的东西,所以这个定义很关键。研究在 1万输入、100 输出 token、冷缓存这一条件下,报告了 13 条路由上的成本数据点。
14.9 倍是基准测试点出的最大差距。在 DeepSeek 的 100万输入、100 输出预算请求中,本次样本里热调用的成本比冷调用低 14.9 倍。热调用指重复同一个提示词,实测的缓存命中比例决定了有多少输入工作量实际按未缓存价格计费。
速度是另一条坐标轴
在测试的全部 12 种条件下,Telnyx 的中位生成速度都排第一。首 token 延迟并没有呈现同样的规律。基准测试称,最快的首 token 取决于请求形态,因此在 1万 token 提示词上首 token 时间占优的服务商,到了 100万 token 时未必还是赢家。
"你把提示词发到哪里,决定了你付多少钱、等多久,以及这次调用是否成功。"
这句话是 inference.academy 对这项测试的定位。计时面板使用冷请求、100 token 输出预算,并采用统一刻度的坐标轴。TTFT 从请求发出开始,到客户端收到第一个内容或推理增量为止,其中包含网络和排队时间。P90 在排序后的观测值之间做线性插值。解码速度在流式输出开始后测量,算法是完成 token 数除以从第一个到最后一个输出增量所经过的时间。非流式响应完全不做解码速度测量。
路由是另一个变量。基准测试记录了 OpenRouter 针对每种请求形态和缓存条件返回的上游名称。它还指出,重复的提示词可能被送到不同的上游,从而改变其缓存行为。
在 1万输入、100 输出 token 的热条件下,Together 承担了 29 次调用,Novita 20 次,CoreWeave 17 次。在 1万输入、100 输出 token 的冷条件下,Baidu 出现了 15 次,Relace 13 次。该网站明确指出,色段宽度代表调用占比,这些名称是报告的上游,而非经过核实的机器。它还表示,仅凭这一分布无法确定路由为何发生变化。
失败率按输入目标和输出预算分别列出,冷、热条件各自对比。基准测试提醒,同一个提示词要求更长的回答时,某条路由的表现可能不同。HTTP 错误、传输错误和响应错误都计为失败,具体次数放在图表下方的表格里。零表示该样本中没有观察到失败,并不构成保证。
对需要支付推理账单的人来说,实际结论比标题窄得多。在长输入下,缓存能让账单相差一个数量级以上,而通过路由器拿到的服务商并不是固定的。基准测试的成本散点图覆盖 14 家服务商和 13 条路由,但它自己的定位才是最稳妥的总结:这些是服务测量,描述的是本次样本中发生的情况。
资料来源
1本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。