推理定价碎片化：缓存命中、语音延迟与自托管

这一比值在 14 条路由上测得，反映了今年推理定价的变化。每百万 token 的标价不再决定账单。缓存状态、请求形态以及应答的上游，如今能让成本相差一个数量级。

inference.academy 的测试设置刻意保持狭窄。它使用 1000、10000 和 100000 三档输入 token 目标，每档配 100 或 1000 的输出 token 预算，温度设为 0，推理关闭。冷请求携带唯一前缀，热请求重复同一提示词。作者称这些是服务测量，而非任务质量评分。成本定义为请求总费用除以输入 token 再乘以 1M，包含输出费用，因此它不是标价上的输入 token 价格。

缓存占比是成功请求中已缓存输入 token 之和除以输入 token 之和，前提是两项都有上报。这是 token 占比，不是命中缓存的请求百分比。热序列包含其首次请求。

路由引入了第二个变量，研究无法完全解释。在 1000 输入、100 输出 token 且冷缓存的条件下，OpenRouter 返回了 20 个上游名称，其中 Baidu 被调用 18 次，Relace 14 次，AkashML 13 次。同样形态的请求在热缓存下返回 14 个名称，Relace 以 24 次居首，CoreWeave 16 次，DeepSeek 11 次。报告指出，重复的提示词可能到达不同的上游，从而改变其缓存行为，并明确表示仅凭这一分布无法确定路由为何改变。

同一份基准测试显示，Telnyx 在 12 种条件中的 12 种里都拿下生成速度中位数第一。首 token 最快的是谁取决于请求形态，这意味着在短提示词上看起来很快的模型，在长提示词上未必能保持这个位置。

语音模型先比毫秒，再比价格

语音领域的延迟基准测试也呈现类似格局。Nari Labs 在 2026 年 9 月 14 日写道，截至 9 月中旬，它在 Coval 的语音转文字和文字转语音两项基准测试中均排名第一，在 STT 上延迟第一、词错率第二，在 TTS 上延迟第二、词错率第一。它补充了一个值得保留的提醒：Coval 的数据每 30 分钟就可能波动。

该公司的 Qwen3-ASR Fast 端点在最终分段耗时上排名第一，p50 为 44 ms，词错率 3.6%，位居 AssemblyAI 的 Universal 3.5 Pro 之后，后者为 3.5%。Nari 表示，Fast 端点每小时 0.12 美元，在 Coval 价格目录中有公开价格的模型里并列第二低，而 Universal 3.5 Pro 贵 3.75 倍，Deepgram Nova 3 贵 2.4 倍。Standard 端点每小时 0.06 美元，会是最便宜的。

在合成一侧，Nari 的 Qwen3-TTS Fast 模型在首段音频耗时上排名第二，p50 为 63 ms，词错率 3.8%，公司称其在质量上排名第一。只有 Fluxions 的 vui 报出更低的中位 TTFA，为 49 ms，它来自一个 300M 参数模型，而 Nari 提供的 Qwen3-TTS 为 1.7B。

在每 1M 字符 10 美元的价格上，Nari 称其 Fast 端点在 Coval 目录中并列最便宜，ElevenLabs 的 Eleven v3 Conversational 贵 5 倍，Cartesia Sonic 3.6 贵 6.5 倍。

帖子里最尖锐的对比发生在提供同一套权重的端点之间。Nari 报告称，官方 Qwen3 TTS Flash Realtime 端点的词错率为 8.8%，中位 TTFA 在数百毫秒；而 Baseten 的专用 Qwen3-TTS 端点录得 6.0% 的词错率，中位 TTFA 在百余毫秒。同一个模型，不同的服务栈，不同的数字。

自托管也有代价，代价在运维

Nexlab 于 2026 年 9 月 20 日发布的自托管编排器调查覆盖 LocalAI、exo、GPUStack、Xinference、Ollama、vLLM 和 CoderAI，GitHub 星数取自当天的 API。真正有用的那一列不是星数，而是每个工具跨机器能做什么。

• Ollama 有 181000 星，一次只处理一台机器和一个模型，除了把多个 Ollama URL 轮询之外没有集群方案。
• vLLM 有 92000 星，通过 Ray 支持张量并行和流水线并行，但不管理模型、用户或放置。
• LocalAI 有 49000 星，在 2026 年 6 月加入分布式模式，带 libp2p 发现和感知显存与前缀缓存的路由器；调查称其原生 LLM 吞吐量比专用引擎落后几十个百分点。
• exo 有 47000 星，在 Apple Silicon 上用 MLX 和 Thunderbolt 5 上的 RDMA 扩展，报告四台设备上达到 3.2 倍，但在 2026 年 9 月的 Linux 上仅支持 CPU。
• GPUStack 有 5700 星，提供用户、密钥、计量和 Prometheus，并支持九家加速器厂商。

LiteLLM 有 59000 星，在端点和云之间做路由，但不运行模型，调查称这一点常被忽略。

三个来源共同呈现出一种格局：成本不再是一个公开标价。忽略缓存状态的网关、忽略尾部延迟的语音端点，或者忽略故障率的编排器，都会产生标价无法预测的账单或用户体验。

这些来源都没有回答的是，这些差距能维持多久。缓存折扣取决于路由，路由在两次调用之间就会变化，基准排名在一个小时之内就会移动。用单一数字比较两家供应商的买家，比较的是错误的东西。