Nouveaux outils de coûts : les factures d'inférence sous le feu des projecteurs

Le plus récent, un calculateur de coût d'inférence publié le 23 septembre par le développeur Flavio Copes, compare 27 modèles d'OpenAI, Anthropic, Google, xAI, Mistral, OpenRouter et Workers AI. Il classe chaque modèle selon les mêmes hypothèses pour mettre en lumière les compromis entre prix et capacité, au-delà des simples listes de tarifs. L'outil transforme les hypothèses produit en facture mensuelle : utilisateurs actifs quotidiens, appels LLM par utilisateur, jetons d'entrée et de sortie par appel, et un taux de cache de prompt optionnel. Tout fonctionne dans le navigateur ; le lien de partage encode uniquement les entrées dans l'URL.

Ce cadrage compte plus que les chiffres individuels.

La documentation précise que les données proviennent des tarifs API publiés et ignorent les prix par lot, les remises entreprise, les suppléments pour images ou outils, ainsi que toute couche de cache côté client. Le résultat est qualifié d'estimation de planification, non de devis fournisseur. Une mise en garde inhabituellement franche pour un outil de tarification, qui reflète l'état réel du marché.

Deux façons de tarifier le même GPU

La même semaine a vu apparaître une deuxième catégorie d'outils : des trackers qui convertissent les tarifs horaires GPU en coût par million de jetons. FitMyLLM lit les tarifs en direct depuis l'API de chaque fournisseur, avec un rafraîchissement toutes les trois minutes et une mise en cache de dix minutes au bord. Son tableau liste actuellement 47 cartes et 74 devis, dont 19 sont mesurés plutôt qu'estimés, triés du moins cher au plus cher par coût par million de jetons.

Le résultat est contre-intuitif. La ligne la moins chère sur FitMyLLM est une RTX 3090 Vast.ai à 0,13 $ de l'heure, produisant 0,291 $ par million de jetons, marquée comme mesurée. La ligne la plus rapide est une RTX 5090 à 227 jetons par seconde, coûtant 0,576 $ par million de jetons, également mesurée. Une RTX 3090 sur RunPod, à un prix publié de 0,22 $ de l'heure, ressort à 0,494 $ par million de jetons.

Les cartes de datacenter sont mal classées ici, et c'est le résultat, pas un défaut. Une H100 ou H200 justifie son prix en servant de nombreux flux simultanément ; à un seul flux, sa bande passante énorme reste largement inactive.

FitMyLLM est explicite : ce classement s'inverse pour quiconque sert une foule plutôt qu'un utilisateur unique, et les lignes H100 et H200 sont les moins certaines. L'outil avertit aussi que les prix du marché correspondent à la liste d'un hôte, pas à un tarif publié, et que les hôtes peuvent faire tourner une carte sous sa limite de puissance standard.

GPUAdvisor adopte l'approche opposée, suivant 13 fournisseurs cloud et 132 instances par nœud ou par GPU, regroupées par région et triées du moins cher au plus cher. Son instantané, suivi pour la dernière fois le 28 septembre, montre une RTX A4000 16GB à 0,10 $ de l'heure sur GPU.ai comme entrée la moins chère, et une RTX 3090 24GB à 0,17 $ de l'heure. Il note que les clouds spécialisés GPU offrent des prix par GPU deux à quatre fois inférieurs aux hyperscalers, que GCP Spot propose jusqu'à 70 % de réduction sur les instances A100 et H100, et que les engagements d'un an économisent 35 à 40 %. Il conclut avec la même mise en garde que les autres : vérifier les pages de tarification du fournisseur avant l'achat.

Utilisation, pas prix d'étiquette

Krapton Engineering, qui a mis à jour son guide pour la dernière fois le 25 septembre, soutient que la métrique décisive n'est ni le taux horaire ni le prix du jeton, mais l'utilisation. Une H100 inactive 60 % de la journée facture toujours, et son coût effectif par inférence augmente en conséquence. L'entreprise décrit un engagement client avec un chatbot IA conversationnel dont l'utilisation GPU on-demand se situait à 30 à 40 % pendant les heures creuses, même avec un autoscaling agressif. Déplacer la charge de base prévisible vers des instances réservées et ajouter un planificateur Kubernetes pour co-localiser les requêtes d'inférence a réduit la facture de calcul globale de 30 %.

L'exemple chiffré de Krapton est illustratif, et il le dit. Il modélise un GPU milieu de gamme à 1 000 jetons par seconde pour un modèle de 7B paramètres, un coût réservé illustratif de 0,75 $ de l'heure après une remise de 50 %, et 0,25 $ de l'heure de frais opérationnels non inclus dans le coût API. Il souligne que les prix réels d'AWS, GCP ou Azure varient et doivent être vérifiés. Le chiffre est une forme, pas un devis.

aicost.ai cadre le même problème comme un choix à trois plutôt que binaire : payer par jeton à un hôte serverless, louer un GPU dédié à l'heure, ou exécuter sur votre propre compte cloud. Son calculateur utilise par défaut 2 500 jetons de sortie par seconde et 45 % d'utilisation, avec des préréglages de 20 % pour le bas du monde réel et 70 % pour le bien batché. L'orientation qui en ressort est conditionnelle. Le serverless gagne sur les volumes bas ou burst et les modèles à jetons bon marché. La location dédiée gagne sur les volumes stables élevés avec des modèles à jetons chers. L'auto-hébergement gagne sur les volumes stables très élevés avec des prix réservés ou spot, en supposant que vous gérez déjà une infrastructure. Le point de bascule, dit-il, est le prix par jeton mixte multiplié par le volume contre les dollars GPU par heure multipliés par la taille de la flotte.

Ce que les trackers admettent manquer

Chacun de ces outils publie ses propres limites, ce qui vaut plus que les tableaux. aicost.ai indique que les trois jambes GPU supposent une utilisation complète à la débit indiqué et excluent la configuration, les opérations, le réseau et les frais de fiabilité. Le débit varie selon le modèle, le matériel, la taille du lot et la forme du prompt, c'est donc une entrée modifiable plutôt qu'une constante. Les prix réservés et spot supposent que vous pouvez réellement retenir ou récupérer la capacité, et le spot peut être interrompu.

FitMyLLM note que le service par lot est moins cher par jeton, et qu'une carte inactive facture toujours. Il divulgue aussi que les liens de fournisseur peuvent contenir un code de parrainage, tout en indiquant que le code ne change pas ce qui est listé ni le tri du tableau. GPUAdvisor dit que ses prix sont approximatifs, varient selon la région et la disponibilité, et reflètent les estimations de septembre 2026.

La conclusion pratique est étroite. Le 28 septembre, l'entrée on-demand publiée la moins chère dans le tracker de GPUAdvisor était de 0,10 $ de l'heure, et le coût mesuré par million de jetons le plus bas dans le tableau de FitMyLLM était de 0,291 $. Les deux chiffres sont des entrées de planification, pas des engagements, et les deux changent avec les hypothèses de charge qu'une équipe saisit.

Les outils diffèrent aussi en emphase. FitMyLLM classe les cartes grand public avant les cartes de datacenter pour le service à flux unique et appelle cela le résultat. Krapton traite la capacité réservée comme le milieu de terrain pour les charges de travail soutenues prévisibles. aicost.ai traite le propre cloud comme le moins cher seulement avec un engagement réservé ou spot et une forte utilisation. Ils ne font pas la moyenne vers une seule réponse, car il n'y en a pas une.

Ce qui est nouveau, c'est que les hypothèses sont maintenant exposées. Il y a un an, le taux horaire était le seul chiffre public, et la conversion en coût par jeton se faisait dans un tableur que personne ne partageait. À partir de cette semaine, trois outils distincts publient leurs chiffres de débit, leurs défauts d'utilisation et leurs barres d'erreur, et un quatrième publie sa date d'estimation. Cela ne rend pas les chiffres justes. Cela les rend débattables, ce qui est le prérequis pour budgéter sur leur base.