DeepSeek V4 Flash coûte 14,9 fois moins cher avec un cache chaud, selon un benchmark sur 14 fournisseurs
Renvoyer deux fois le même prompt à DeepSeek V4 Flash peut diviser le coût d'une requête par 14,9. C'est ce que mesure un benchmark de serving publié par inference.academy le 7 septembre, qui a fait passer le modèle par 14 fournisseurs.

Le benchmark repose sur un dispositif unique et contrôlé : des cibles de 1 000, 10 000 et 100 000 tokens d'entrée, chacune associée à un budget de 100 ou 1 000 tokens de sortie, avec une température de 0 et le raisonnement désactivé. Les requêtes froides portaient un préfixe unique. Les requêtes chaudes répétaient le même prompt. Le site précise qu'il s'agit de mesures de serving, pas de scores de qualité sur une tâche.
Dans l'étude, le coût n'est pas le prix affiché du token d'entrée. C'est le total des frais de requête divisé par le nombre de tokens d'entrée, puis multiplié par un million, ce qui intègre les frais de sortie. Sur l'échantillon, les requêtes de DeepSeek V4 Flash à 100 000 tokens d'entrée et 100 tokens de sortie coûtent 14,9 fois moins cher à chaud qu'à froid.
Le routage ne tient pas d'un appel à l'autre
Le benchmark a aussi relevé les noms d'upstreams renvoyés par OpenRouter pour chaque format de requête. Ces noms changent selon l'état du cache. Pour les appels froids à 1 000 tokens d'entrée et 100 de sortie, la liste était menée par Baidu avec 18 appels, Relace avec 14 et AkashML avec 13. Le même format à chaud était mené par Relace avec 24, CoreWeave avec 16 et DeepSeek avec 11.
À 100 000 tokens d'entrée et un budget de 100 tokens de sortie, les requêtes froides allaient surtout à Baidu (7), DigitalOcean (3), Relace (3) et Wafer (3). Les requêtes chaudes du même format allaient à Relace (14), Together (6) et CoreWeave (5). Les auteurs préviennent que la largeur d'un segment ne représente que la part des appels. Ils notent aussi que ces noms sont des upstreams déclarés et non des machines vérifiées. Cette distribution seule n'explique pas pourquoi le routage a changé.
Sur la vitesse, Telnyx a mené la vitesse de génération médiane dans les 12 conditions. La latence du premier token dépendait du format de requête, sans vainqueur unique. Le site définit le temps jusqu'au premier token comme le délai entre le début de la requête et le premier delta de contenu ou de raisonnement reçu par le client, temps réseau et file d'attente compris. La vitesse de décodage est le nombre de tokens de complétion rapporté au temps écoulé entre le premier et le dernier delta de sortie. Les réponses non streamées ne donnent aucune mesure de vitesse de décodage.
Les chronométrages ne portent que sur les appels réussis.
Part de cache et taux d'échec
L'étude calcule la part de cache comme la somme des tokens d'entrée mis en cache divisée par la somme des tokens d'entrée, pour les succès ayant déclaré les deux. Elle l'a mesurée sur des prompts répétés de 10 000 tokens avec un budget de 100 tokens de sortie. C'est une part de tokens, pas le pourcentage de requêtes ayant touché un cache, et la séquence à chaud inclut sa requête initiale.
Les taux d'échec sont ventilés par cible d'entrée, budget de sortie et état du cache. Les auteurs notent qu'une route peut se comporter autrement quand le même prompt demande une réponse plus longue. Le taux d'échec est le nombre d'appels échoués divisé par le nombre d'appels mesurés dans cette condition, erreurs HTTP, de transport et de réponse comprises. Les comptes exacts et les intervalles descriptifs figurent dans les tableaux sous les graphiques, et les enregistrements bruts sont téléchargeables. Un zéro affiché signifie qu'aucun échec n'a été observé dans l'échantillon. Le benchmark marque les champs non mesurés comme non rapportés, et non comme zéro.
Pour les acheteurs, la lecture pratique reste étroite. L'écart entre froid et chaud est assez grand pour que la réutilisation de prompt pèse plus lourd que le seul choix du fournisseur dans la facture des charges de travail répétitives. Mais les mêmes chiffres montrent qu'un prompt répété peut atterrir sur un upstream différent. La remise de cache s'applique alors, ou pas.
Sources
1Tous les chiffres et citations de ce texte proviennent des sources citées ci-dessous.
Les contenus ont été préparés par l'équipe de rédaction, assistée par l'IA.
Commentaires
0- Aucun commentaire — soyez le premier.