推理定价分化:缓存命中、语音延迟与自托管
推理.academy 于 2026 年 9 月 7 日发布基准测试:在一次受控样本中,输入 10 万 token 的 DeepSeek V4 Flash 请求,热缓存下的成本只有冷缓存的 1/14.9。

这个比值在 14 条路由上测出,概括了今年推理定价的变化。每百万 token 的标价不再是决定账单的数字。缓存状态、请求形态、由哪个上游接单,如今都能让成本相差一个数量级。
推理.academy 的测试设置刻意收窄。输入 token 分 1000、1 万和 10 万三档,每档配 100 或 1000 输出 token 的预算,温度设为 0,关闭推理。冷请求带唯一前缀,热请求重复同一提示词。作者称这些是服务测量,不是任务质量评分。成本按总请求费用除以输入 token 数、再乘以 100 万计算,其中包含输出费用,所以它不是标明的输入 token 价格。
缓存占比的算法是:在同时上报缓存输入和输入 token 的成功请求中,缓存输入 token 之和除以输入 token 之和。它是 token 占比,不是命中缓存的请求百分比。热序列包含它的首次请求。
路由带来了第二个变量,研究无法完全解释。在 1000 输入、100 输出 token 且缓存为冷的情况下,OpenRouter 返回了 20 个上游名称,其中 Baidu 出现 18 次,Relace 14 次,AkashML 13 次。同样形态的请求在热缓存下返回 14 个名称,Relace 以 24 次居首,CoreWeave 16 次,DeepSeek 11 次。报告指出,重复的提示词可能落到不同的上游,从而改变其缓存行为。报告也明确说,仅凭分布无法确定路由为何变化。
同一基准显示,Telnyx 在 12 个条件中的 12 个都拿下生成速度中位数第一。最快首 token 取决于请求形态,这意味着在短提示词上看起来很快的模型,在长提示词上未必保持这个位置。
语音模型先拼毫秒,再拼价格
语音领域的延迟基准也呈现类似格局。Nari Labs 在 2026 年 9 月 14 日写道,截至 9 月中旬,它在 Coval 的语音转文字和文字转语音两项基准上都排名第一:STT 延迟第一、词错误率第二,TTS 延迟第二、WER 第一。它补充了一个值得记住的提醒:Coval 的数字每 30 分钟就可能波动。
该公司的 Qwen3-ASR Fast 端点以 44 毫秒的 p50 在最终片段耗时上排名第一,WER 为 3.6%,排在 AssemblyAI 的 Universal 3.5 Pro 之后位列第二,后者为 3.5%。Nari 表示,Fast 端点每小时 0.12 美元,在 Coval 价格目录中已知公开费率的模型里并列第二低。Universal 3.5 Pro 贵 3.75 倍,Deepgram Nova 3 贵 2.4 倍。Standard 端点每小时 0.06 美元,将是最便宜的。
在合成一侧,Nari 的 Qwen3-TTS Fast 模型以 63 毫秒的 p50 在首音频耗时上排名第二,WER 为 3.8%,公司称其质量第一。只有 Fluxions 的 vui 中位 TTFA 更低,为 49 毫秒。它来自一个 3 亿参数的模型,而 Nari 提供的 Qwen3-TTS 是 17 亿参数。
按每 100 万字符 10 美元计,Nari 称其 Fast 端点在 Coval 目录中并列最便宜。ElevenLabs Eleven v3 Conversational 贵 5 倍,Cartesia Sonic 3.6 贵 6.5 倍。
帖子中最尖锐的对比发生在跑同一套权重的端点之间。Nari 报告称,官方 Qwen3 TTS Flash Realtime 端点的 WER 为 8.8%,中位 TTFA 在数百毫秒;Baseten 的专用 Qwen3-TTS 端点记录的 WER 为 6.0%,中位 TTFA 在低数百毫秒。同一个模型,不同的服务栈,不同的数字。
自托管也有价格,而且落在运维上
Nexlab 于 2026 年 9 月 20 日发布的自托管编排器调查覆盖 LocalAI、exo、GPUStack、Xinference、Ollama、vLLM 和 CoderAI,GitHub 星数取自当天的 API。有用的那一列不是星数,而是每个工具跨机器能做到什么。
- Ollama 有 18.1 万星,一次一台机器、一个模型,除了把多个 Ollama 地址轮询外没有集群方案。
- vLLM 有 9.2 万星,通过 Ray 支持张量和流水线并行,但不管理模型、用户或放置。
- LocalAI 有 4.9 万星,2026 年 6 月加入分布式模式,带 libp2p 发现和一个感知显存与前缀缓存的路由器;调查称其原始 LLM 吞吐比专用引擎落后几十个百分点。
- exo 有 4.7 万星,在 Apple Silicon 上用 MLX 和 Thunderbolt 5 上的 RDMA 扩展,报告四台设备上达到 3.2 倍,但在 2026 年 9 月的 Linux 上仅支持 CPU。
- GPUStack 有 5700 星,提供用户、密钥、计量和 Prometheus,支持九家加速器厂商。
LiteLLM 有 5.9 万星,在端点与云之间做路由,但不运行模型。调查称这一区别常被忽略。
三个来源呈现的共同点是,成本已不再是一个公布的费率。忽略缓存状态的网关、忽略尾部延迟的语音端点,或者忽略故障率的编排器,都会产生标价未能预测的账单或用户体验。
这些来源都没有回答的是,这些差距能维持多久。缓存折扣取决于路由,路由在调用之间变化,基准排名在一小时内也会变动。只用一个数字比较两家供应商的买家,比较的是错的东西。
资料来源
3- 01DeepSeek V4 Flash across 14 providers: cost, speed and cachingEN
- 02Show HN: Nari Qwen3-TTS and Qwen3-ASREN
- 03Self-hosted inference orchestrators compared: LocalAI, exo, GPUStack, vLLMEN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。