Les prix de l'inférence se fragmentent : cache, latence vocale et auto-hébergement
Selon un benchmark publié par inference.academy le 7 septembre 2026, une requête DeepSeek V4 Flash avec 100 000 tokens d'entrée coûte 14,9 fois moins cher à chaud qu'à froid dans un échantillon contrôlé.

Ce seul rapport, mesuré sur 14 routes, résume ce qui est arrivé aux prix de l'inférence cette année. Le tarif affiché par million de tokens ne décide plus de la facture. L'état du cache, la forme de la requête et l'amont qui répond à l'appel font désormais varier le coût d'un ordre de grandeur.
Le dispositif d'inference.academy était volontairement étroit. Il visait des entrées de 1 000, 10 000 et 100 000 tokens, chacune avec un budget de sortie de 100 ou 1 000 tokens, température 0 et raisonnement désactivé. Les requêtes à froid portaient un préfixe unique ; les requêtes à chaud répétaient le même prompt. L'auteur parle de mesures de service, pas de scores de qualité sur tâche. Le coût correspond au total facturé pour la requête divisé par les tokens d'entrée, multiplié par 1 000 000, frais de sortie compris : ce n'est donc pas le prix affiché des tokens d'entrée.
La part de cache est la somme des tokens d'entrée mis en cache divisée par la somme des tokens d'entrée, pour les succès qui déclarent les deux. C'est une part de tokens, pas le pourcentage de requêtes ayant touché le cache. La séquence à chaud inclut sa requête initiale.
Le routage a ajouté une seconde variable que l'étude n'explique pas entièrement. Sur 1 000 tokens d'entrée et 100 de sortie avec un cache froid, OpenRouter a renvoyé 20 noms d'amont, avec Baidu à 18 appels, Relace à 14 et AkashML à 13. La même forme de requête à chaud a renvoyé 14 noms, menés par Relace à 24, CoreWeave à 16 et DeepSeek à 11. Le rapport note qu'un prompt répété peut atteindre un autre amont, ce qui change son comportement de cache. Il précise aussi que la distribution seule n'explique pas pourquoi le routage a changé.
Telnyx mène la vitesse de génération médiane dans 12 conditions sur 12, selon le même benchmark. Le premier token le plus rapide dépendait de la forme de la requête : un modèle qui paraît vif sur un prompt court peut ne pas tenir la position sur un long.
Les modèles vocaux se battent en millisecondes, puis en prix
Les benchmarks de latence dans la parole suivent le même schéma. Nari Labs a écrit le 14 septembre 2026 qu'à la mi-septembre, il occupe la première place des benchmarks de reconnaissance vocale et de synthèse vocale de Coval, premier sur la latence et deuxième sur le taux d'erreur de mots en reconnaissance vocale, deuxième sur la latence et premier sur le taux d'erreur en synthèse. Il ajoute une réserve à garder en tête : les chiffres de Coval peuvent fluctuer toutes les 30 minutes.
Le point d'accès Qwen3-ASR Fast de l'entreprise est classé premier au temps jusqu'au segment final, avec une p50 de 44 ms et un taux d'erreur de 3,6 %, ce qui le place deuxième derrière Universal 3.5 Pro d'AssemblyAI à 3,5 %. Nari indique que le point d'accès Fast, à 0,12 dollar de l'heure, est à égalité pour le deuxième prix le plus bas parmi les modèles aux tarifs publics connus dans l'annuaire de Coval. Universal 3.5 Pro coûte 3,75 fois plus cher, Deepgram Nova 3 2,4 fois plus cher. Le point d'accès Standard serait le moins cher à 0,06 dollar de l'heure.
Côté synthèse, le modèle Qwen3-TTS Fast de Nari est classé deuxième au temps jusqu'au premier audio, avec une p50 de 63 ms et un taux d'erreur de 3,8 %, ce que l'entreprise présente comme la première place sur la qualité. Seul vui de Fluxions affiche un TTFA médian plus bas, à 49 ms, avec un modèle de 300 000 000 de paramètres contre le Qwen3-TTS de 1 700 000 000 que sert Nari.
À 10 dollars par 1 000 000 de caractères, Nari affirme que son point d'accès Fast est à égalité pour le prix le plus bas de l'annuaire de Coval. ElevenLabs Eleven v3 Conversational coûte 5 fois plus, Cartesia Sonic 3.6 6,5 fois plus.
La comparaison la plus nette du billet porte sur des points d'accès qui servent les mêmes poids. Nari rapporte que le point d'accès officiel Qwen3 TTS Flash Realtime affiche 8,8 % de taux d'erreur et un TTFA médian dans les centaines de millisecondes. Le point d'accès dédié Qwen3-TTS de Baseten enregistre 6,0 % de taux d'erreur et un TTFA médian dans les basses centaines de millisecondes. Même modèle, autre pile de service, autres chiffres.
L'auto-hébergement a aussi un prix, et il est dans l'exploitation
L'enquête de Nexlab du 20 septembre 2026 sur les orchestrateurs auto-hébergés couvre LocalAI, exo, GPUStack, Xinference, Ollama, vLLM et CoderAI, avec les compteurs d'étoiles GitHub relevés le jour même via l'API. La colonne utile n'est pas celle des étoiles mais ce que chaque outil fait d'une machine à l'autre.
- Ollama, à 181 000 étoiles, gère une machine et un modèle à la fois, sans autre histoire de cluster qu'un round-robin entre plusieurs URL Ollama.
- vLLM, à 92 000 étoiles, prend en charge le parallélisme tensoriel et de pipeline via Ray mais ne gère ni modèles, ni utilisateurs, ni placement.
- LocalAI, à 49 000 étoiles, a ajouté en juin 2026 un mode distribué avec découverte libp2p et un routeur conscient de la VRAM et des caches de préfixe ; l'enquête indique que son débit brut sur les LLM reste en retrait de quelques dizaines de pour cent face à un moteur dédié.
- exo, à 47 000 étoiles, monte en charge sur Apple Silicon avec MLX et RDMA sur Thunderbolt 5, avec un 3,2x annoncé sur quatre appareils, mais reste limité au CPU sous Linux en septembre 2026.
- GPUStack, à 5 700 étoiles, propose utilisateurs, clés, mesure de consommation et Prometheus, et prend en charge neuf fournisseurs d'accélérateurs.
LiteLLM, à 59 000 étoiles, route entre points d'accès et clouds mais n'exécute aucun modèle, une distinction que l'enquête dit souvent manquée.
Le constat commun aux trois sources est que le coût a cessé d'être un tarif unique publié. Une passerelle qui ignore l'état du cache, un point d'accès vocal qui ignore la latence de queue ou un orchestrateur qui ignore les taux d'échec produiront chacun une facture ou une expérience utilisateur que le prix affiché n'avait pas prédite.
Ce qu'aucune de ces sources ne tranche, c'est la durée de ces écarts. Les remises de cache dépendent du routage, le routage change d'un appel à l'autre et les positions dans les benchmarks bougent en une heure. Un acheteur qui compare deux fournisseurs sur un seul chiffre compare la mauvaise chose.
Sources
3- 01DeepSeek V4 Flash across 14 providers: cost, speed and cachingEN
- 02Show HN: Nari Qwen3-TTS and Qwen3-ASREN
- 03Self-hosted inference orchestrators compared: LocalAI, exo, GPUStack, vLLMEN
Tous les chiffres et citations de ce texte proviennent des sources citées ci-dessous.
Les contenus ont été préparés par l'équipe de rédaction, assistée par l'IA.
Commentaires
0- Aucun commentaire — soyez le premier.