Les prix des GPU montent, les tarifs cloud baissent : le vrai coût de l'inférence

Les tarifs affichés ne disent pas où part l'argent. Meetrix a comparé AWS et GCP, prix relevés le 28 septembre : un H100 à la demande coûte 6,88 dollars l'heure sur AWS, contre 10,98 dollars sur GCP. L'écart de 37 % est réel. Il reste plus petit que celui obtenu avec la même carte à un quart de charge. Sur la base du débit de référence de 2 500 tokens par seconde retenu par Meetrix, le million de tokens revient à 0,76 dollar quand le GPU tourne à plein, et à 3,06 dollars à 25 % d'utilisation.

Tout l'argument tient en une phrase. Le silicium qui ne fait rien coûte plus cher que n'importe quel choix de fournisseur.

GPUAdvisor suit 14 fournisseurs et indique avoir arrêté ses données au 1er octobre. Sur les cartes plus anciennes, les clouds spécialisés passent nettement sous les hyperscalers : une A4000 à 0,15 dollar l'heure GPU chez Hyperstack, une L40S à 0,38 dollar chez Lium, une RTX 4090 à 0,40 dollar. Le site présente ces chiffres comme des approximations et invite les acheteurs à vérifier les tarifs sur la page du fournisseur. La prudence est de mise, car cette même page affiche une RTX 4090 à 0,74 dollar chez RunPod. Deux prix, le même modèle, presque du simple au double.

La facture en tokens, encore un autre chiffre

Artificial Analysis a publié le 29 septembre son évaluation de Claude Sonnet 5.5 d'Anthropic. Le modèle atteint 56 sur son Intelligence Index, deux points derrière Opus 5.5 à effort maximal, mais consomme environ 193 000 tokens de sortie par tâche. C'est à peu près 60 % de plus qu'Opus 5.5, et environ sept fois GPT-6 Astra à effort maximal, selon le laboratoire. Anthropic n'a pas touché à ses tarifs : 2 dollars par million de tokens d'entrée, 10 dollars par million de tokens de sortie. Le coût par tâche grimpe pourtant à 7,60 dollars, soit environ 50 % de plus que Sonnet 5.

Même grille tarifaire. Facture différente. Ce sont les tokens qui font la différence.

AI Pricing Guru actualise ses tarifs chaque jour, dernière mise à jour le 1er octobre. Pour les API généralistes, la fourchette utilisable va de 0,50 à 15 dollars par million de tokens de sortie. L'entrée coûte généralement deux à huit fois moins cher, et la mise en cache des entrées retire encore 75 % à 90 % quand le fournisseur la propose. Son calculateur suit 154 modèles actifs chez plus de 10 fournisseurs.

La recherche documentaire change l'arithmétique avant même que la génération démarre. Spheron a publié le 29 septembre un détail des coûts : une configuration RAG standard qui extrait cinq segments de 500 tokens ajoute 2 500 tokens de contexte par requête. Une question qui coûterait 100 à 200 tokens d'entrée en simple conversation peut donc coûter 15 à 20 fois plus cher du côté de l'entrée.

Unblocked a décrit le 29 septembre son propre travail de routage. Le trafic de GLM 5.2 circule entre Baseten, Fireworks et CoreWeave selon un score pondéré à 70 % sur le coût et à 30 % sur la latence. Sur un ordre fixe favorisant Baseten, ce fournisseur a servi 98,5 % des tâches lors de la première semaine complète. L'entreprise indique que les tarifs catalogue de CoreWeave étaient environ 45 % inférieurs à ceux de Baseten, sans données de performance permettant de le classer. Voilà où en est l'achat : l'option la moins chère est souvent celle que personne n'a mesurée.