跳到正文
世界时间EU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

关于人工智能与技术的门户事件 · 分析 · 访谈 · 技术背景

搜索
直播
›

14家供应商基准测试:DeepSeek V4 Flash 热缓存下成本降低 14.9 倍

inference.academy 9 月 7 日发布的一项推理服务基准测试显示,同一个提示词向 DeepSeek V4 Flash 发送两次,请求成本可降低 14.9 倍。测试把模型分配到 14 家供应商上运行。

人工智能与模型新闻王雅琴发布: 2026年9月28日3 分钟阅读资料来源 1
14家供应商基准测试:DeepSeek V4 Flash 热缓存下成本降低 14.9 倍

基准测试只测一种受控设置:输入 token 目标为 1000、1万 和 10万,每种目标搭配 100 或 1000 的输出 token 预算,温度设为 0,并关闭推理。冷请求带唯一前缀,热请求重复同一提示词。该网站明确说明,这些是服务层面的测量,不是任务质量评分。

研究中的成本不是标价里的输入 token 价格。它等于请求总费用除以输入 token 数,再乘以一百万,输出费用也折算在内。在整个样本中,DeepSeek V4 Flash 在 10万 输入、100 输出预算的条件下,热请求成本比冷请求低 14.9 倍。

调用之间的路由并不稳定

基准测试还记录了 OpenRouter 针对每种请求形态返回的上游名称。这些名称随缓存条件变化。在 1000 输入、100 输出的冷调用中,Baidu 以 18 次居首,Relace 14 次,AkashML 13 次。同样形态的热调用则由 Relace 以 24 次居首,CoreWeave 16 次,DeepSeek 11 次。

在 10万 输入、100 token 输出预算下,冷请求大多流向 Baidu(7 次)、DigitalOcean(3 次)、Relace(3 次)和 Wafer(3 次)。同一形态的热请求则流向 Relace(14 次)、Together(6 次)和 CoreWeave(5 次)。作者提醒,色块宽度只是调用次数的占比。他们还指出,这些名称是上报的上游名称,不是经过核实的机器,仅凭这一分布无法确定路由为何改变。

速度方面,Telnyx 在全部 12 种条件下都领先中位生成速度。首 token 延迟取决于请求形态,没有单一赢家。该网站把首 token 时间定义为从请求开始到客户端收到第一个内容或推理增量为止,包含网络和排队时间。解码速度用上报的完成 token 数除以从第一个到最后一个输出增量的耗时。非流式响应不会产生解码速度测量值。

计时只包含成功的调用。

缓存占比与失败率

研究把缓存占比报告为缓存输入 token 之和除以输入 token 之和,只统计同时上报这两项的成功调用。测量对象是重复的 1万 提示词,输出预算为 100 token。这是 token 占比,不是命中缓存的请求百分比,而且热序列包含它的首次请求。

失败率按输入目标、输出预算和缓存条件分别列出。作者指出,同一个提示词要求更长的回答时,某条路由的表现可能不同。失败率是该条件下失败调用数除以实测调用数,统计 HTTP、传输和响应错误。精确计数和描述性区间放在图表下方的表格里,原始记录可以下载。标注为零表示样本中没有观察到失败。基准测试把未测量的字段标为未报告,而不是零。

对买家来说,实际解读范围很窄。冷热之间的差距足够大,对于重复性工作负载,提示词复用可能比单纯选择供应商更能左右账单。但同样的数字也显示,重复的提示词可能落到不同的上游。这直接决定缓存折扣是否还适用。

评论 0

资料来源

1
  1. 01DeepSeek V4 Flash across 14 providers: cost, speed and cachingEN

本文所有数字与引语均来自下列来源,未添加来源之外的内容。

本内容由编辑部在人工智能辅助下制作完成。

王雅琴

王雅琴

人工智能、模型与技术

王雅琴负责FLASH24的人工智能、模型与技术报道,覆盖科技、人工智能与模型、媒体与互联网领域。她习惯直接查阅技术文档、模型卡与官方博客,而非依赖新闻稿,对未经核实的参数和跑分数据一概不放行。每篇报道前,她会逐项核对基准测试结果,对照论文原文与开源代码,确认版本号、数据集和评测条件是否一致。她常联系开发者与研究人员求证细节,也盯着各大厂商的发布会和论文截稿日期,横向比较同类模型的实际表现。私下她自建服务、折腾家庭网络,这让她对部署成本和真实算力需求有直观判断。她的原则是:没有可复现来源的数字,不写进稿子。

编辑部 →

评论

0
  1. 还没有评论——来说两句吧。

写评论

评论公开展示。我们不发布辱骂、垃圾信息和广告内容。