Benchmark inference.academy : DeepSeek V4 Flash coûte 14,9 fois plus cher sur les requêtes à froid
Envoyer deux fois le même prompt à DeepSeek V4 Flash peut coûter 14,9 fois moins cher la seconde fois. C'est ce que montre un benchmark de serving publié le 7 septembre par inference.academy, qui couvre 14 fournisseurs et trois tailles d'entrée.

La mesure ne porte pas sur la qualité des réponses. Inference.academy a fait tourner un même dispositif contrôlé sur des cibles de 1 000, 10 000 et 100 000 tokens d'entrée, chacune assortie d'un budget de sortie de 100 ou 1 000 tokens. La température était réglée à zéro et le raisonnement désactivé. Les requêtes à froid utilisaient un préfixe unique ; les requêtes à chaud répétaient le même prompt. Le site présente ces résultats comme des mesures de serving, pas comme des scores de qualité sur une tâche.
Le coût est défini comme le total des frais de requête divisé par les tokens d'entrée, multiplié par 1 000 000, et il inclut les frais de sortie. Ce détail compte, car le prix d'entrée affiché en tête de page chez un fournisseur n'est pas ce que compare le benchmark. L'étude relève des points de coût sur 13 routes pour la condition 10 000 d'entrée, 100 tokens de sortie, cache froid.
Le chiffre de 14,9x correspond à l'écart le plus large signalé par le benchmark. Sur les requêtes de DeepSeek à 100 000 d'entrée et 100 de budget de sortie, les appels à chaud ont coûté 14,9 fois moins cher que les appels à froid dans cet échantillon. À chaud signifie un prompt répété, et la part de cache mesurée détermine quelle quantité de travail d'entrée a réellement été facturée au tarif non caché.
La vitesse est un axe à part
Telnyx arrive en tête pour la vitesse de génération médiane dans les 12 conditions testées. La latence du premier token ne suit pas la même logique. Le benchmark indique que le premier token le plus rapide dépendait de la forme de la requête : un fournisseur qui gagne sur le time-to-first-token pour un prompt de 1 000 n'est pas forcément celui qui gagne à 100 000.
"Là où vous envoyez un prompt change ce que vous payez, combien de temps vous attendez, et si l'appel aboutit."
Cette citation résume le cadre de l'exercice chez inference.academy. Les panneaux de chronométrage utilisent des requêtes à froid avec un budget de sortie de 100 tokens et une échelle d'axe commune. Le TTFT va du début de la requête au premier delta de contenu ou de raisonnement reçu par le client, et il inclut le temps réseau et le temps d'attente en file. Le P90 utilise une interpolation linéaire entre observations ordonnées. La vitesse de décodage, mesurée après le début du streaming, est le nombre de tokens de complétion divisé par le temps écoulé entre le premier et le dernier delta de sortie. Les réponses non streamées ne reçoivent aucune mesure de vitesse de décodage.
Le routage est une autre variable. Le benchmark a consigné les noms amont renvoyés par OpenRouter pour chaque forme de requête et chaque condition de cache. Il note qu'un prompt répété peut atteindre un amont différent, ce qui peut changer son comportement de cache.
Pour la condition 10 000 à 100 à chaud, Together comptait 29 appels, Novita 20 et CoreWeave 17. Dans la condition 10 000 à 100 à froid, Baidu apparaissait 15 fois et Relace 13. Le site précise que la largeur des segments correspond à la part des appels et que les noms sont des amonts déclarés, pas des machines vérifiées. Il indique aussi que la distribution seule n'explique pas pourquoi le routage a changé.
Les taux d'échec sont détaillés par cible d'entrée et par budget de sortie, avec une comparaison séparée entre froid et chaud. Le benchmark avertit qu'une route peut se comporter différemment quand le même prompt demande une réponse plus longue. Les erreurs HTTP, de transport et de réponse comptent toutes comme des échecs, et les comptes exacts figurent dans les tableaux sous les graphiques. Zéro signifie qu'aucun échec n'a été observé dans cet échantillon, pas une garantie.
Pour qui paie des factures d'inférence, la conclusion pratique est plus étroite que le titre. Le cache change la facture de plus d'un ordre de grandeur sur les entrées longues, et le fournisseur obtenu via un routeur n'est pas fixe. Le benchmark couvre 14 fournisseurs et 13 routes dans son nuage de points de coûts, mais son propre cadrage reste le résumé le plus sûr : ce sont des mesures de serving, et elles décrivent ce qui s'est passé dans cet échantillon.
Sources
1Tous les chiffres et citations de ce texte proviennent des sources citées ci-dessous.
Les contenus ont été préparés par l'équipe de rédaction, assistée par l'IA.
Commentaires
0- Aucun commentaire — soyez le premier.