跳到正文
世界时间EU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

关于人工智能与技术的门户事件 · 分析 · 访谈 · 技术背景

搜索
直播
›

推理定价分化:缓存命中、语音延迟与自托管

推理.academy 于 2026 年 9 月 7 日发布基准测试:在一次受控样本中,输入 10 万 token 的 DeepSeek V4 Flash 请求,热缓存下的成本只有冷缓存的 1/14.9。

人工智能与模型分析王雅琴发布: 2026年9月27日5 分钟阅读资料来源 3
推理定价分化:缓存命中、语音延迟与自托管

这个比值在 14 条路由上测出,概括了今年推理定价的变化。每百万 token 的标价不再是决定账单的数字。缓存状态、请求形态、由哪个上游接单,如今都能让成本相差一个数量级。

推理.academy 的测试设置刻意收窄。输入 token 分 1000、1 万和 10 万三档,每档配 100 或 1000 输出 token 的预算,温度设为 0,关闭推理。冷请求带唯一前缀,热请求重复同一提示词。作者称这些是服务测量,不是任务质量评分。成本按总请求费用除以输入 token 数、再乘以 100 万计算,其中包含输出费用,所以它不是标明的输入 token 价格。

缓存占比的算法是:在同时上报缓存输入和输入 token 的成功请求中,缓存输入 token 之和除以输入 token 之和。它是 token 占比,不是命中缓存的请求百分比。热序列包含它的首次请求。

路由带来了第二个变量,研究无法完全解释。在 1000 输入、100 输出 token 且缓存为冷的情况下,OpenRouter 返回了 20 个上游名称,其中 Baidu 出现 18 次,Relace 14 次,AkashML 13 次。同样形态的请求在热缓存下返回 14 个名称,Relace 以 24 次居首,CoreWeave 16 次,DeepSeek 11 次。报告指出,重复的提示词可能落到不同的上游,从而改变其缓存行为。报告也明确说,仅凭分布无法确定路由为何变化。

同一基准显示,Telnyx 在 12 个条件中的 12 个都拿下生成速度中位数第一。最快首 token 取决于请求形态,这意味着在短提示词上看起来很快的模型,在长提示词上未必保持这个位置。

语音模型先拼毫秒,再拼价格

语音领域的延迟基准也呈现类似格局。Nari Labs 在 2026 年 9 月 14 日写道,截至 9 月中旬,它在 Coval 的语音转文字和文字转语音两项基准上都排名第一:STT 延迟第一、词错误率第二,TTS 延迟第二、WER 第一。它补充了一个值得记住的提醒:Coval 的数字每 30 分钟就可能波动。

该公司的 Qwen3-ASR Fast 端点以 44 毫秒的 p50 在最终片段耗时上排名第一,WER 为 3.6%,排在 AssemblyAI 的 Universal 3.5 Pro 之后位列第二,后者为 3.5%。Nari 表示,Fast 端点每小时 0.12 美元,在 Coval 价格目录中已知公开费率的模型里并列第二低。Universal 3.5 Pro 贵 3.75 倍,Deepgram Nova 3 贵 2.4 倍。Standard 端点每小时 0.06 美元,将是最便宜的。

在合成一侧,Nari 的 Qwen3-TTS Fast 模型以 63 毫秒的 p50 在首音频耗时上排名第二,WER 为 3.8%,公司称其质量第一。只有 Fluxions 的 vui 中位 TTFA 更低,为 49 毫秒。它来自一个 3 亿参数的模型,而 Nari 提供的 Qwen3-TTS 是 17 亿参数。

按每 100 万字符 10 美元计,Nari 称其 Fast 端点在 Coval 目录中并列最便宜。ElevenLabs Eleven v3 Conversational 贵 5 倍,Cartesia Sonic 3.6 贵 6.5 倍。

帖子中最尖锐的对比发生在跑同一套权重的端点之间。Nari 报告称,官方 Qwen3 TTS Flash Realtime 端点的 WER 为 8.8%,中位 TTFA 在数百毫秒;Baseten 的专用 Qwen3-TTS 端点记录的 WER 为 6.0%,中位 TTFA 在低数百毫秒。同一个模型,不同的服务栈,不同的数字。

自托管也有价格,而且落在运维上

Nexlab 于 2026 年 9 月 20 日发布的自托管编排器调查覆盖 LocalAI、exo、GPUStack、Xinference、Ollama、vLLM 和 CoderAI,GitHub 星数取自当天的 API。有用的那一列不是星数,而是每个工具跨机器能做到什么。

  • Ollama 有 18.1 万星,一次一台机器、一个模型,除了把多个 Ollama 地址轮询外没有集群方案。
  • vLLM 有 9.2 万星,通过 Ray 支持张量和流水线并行,但不管理模型、用户或放置。
  • LocalAI 有 4.9 万星,2026 年 6 月加入分布式模式,带 libp2p 发现和一个感知显存与前缀缓存的路由器;调查称其原始 LLM 吞吐比专用引擎落后几十个百分点。
  • exo 有 4.7 万星,在 Apple Silicon 上用 MLX 和 Thunderbolt 5 上的 RDMA 扩展,报告四台设备上达到 3.2 倍,但在 2026 年 9 月的 Linux 上仅支持 CPU。
  • GPUStack 有 5700 星,提供用户、密钥、计量和 Prometheus,支持九家加速器厂商。

LiteLLM 有 5.9 万星,在端点与云之间做路由,但不运行模型。调查称这一区别常被忽略。

三个来源呈现的共同点是,成本已不再是一个公布的费率。忽略缓存状态的网关、忽略尾部延迟的语音端点,或者忽略故障率的编排器,都会产生标价未能预测的账单或用户体验。

这些来源都没有回答的是,这些差距能维持多久。缓存折扣取决于路由,路由在调用之间变化,基准排名在一小时内也会变动。只用一个数字比较两家供应商的买家,比较的是错的东西。

评论 0

资料来源

3
  1. 01DeepSeek V4 Flash across 14 providers: cost, speed and cachingEN
  2. 02Show HN: Nari Qwen3-TTS and Qwen3-ASREN
  3. 03Self-hosted inference orchestrators compared: LocalAI, exo, GPUStack, vLLMEN

本文所有数字与引语均来自下列来源,未添加来源之外的内容。

本内容由编辑部在人工智能辅助下制作完成。

王雅琴

王雅琴

人工智能、模型与技术

王雅琴负责FLASH24的人工智能、模型与技术报道,覆盖科技、人工智能与模型、媒体与互联网领域。她习惯直接查阅技术文档、模型卡与官方博客,而非依赖新闻稿,对未经核实的参数和跑分数据一概不放行。每篇报道前,她会逐项核对基准测试结果,对照论文原文与开源代码,确认版本号、数据集和评测条件是否一致。她常联系开发者与研究人员求证细节,也盯着各大厂商的发布会和论文截稿日期,横向比较同类模型的实际表现。私下她自建服务、折腾家庭网络,这让她对部署成本和真实算力需求有直观判断。她的原则是:没有可复现来源的数字,不写进稿子。

编辑部 →

评论

0
  1. 还没有评论——来说两句吧。

写评论

评论公开展示。我们不发布辱骂、垃圾信息和广告内容。