Quail revendique 1 milliard de tokens par minute sur un seul H100, alors que le suivi des prix GPU se bouscule
Modal et le Full Stack Data Lab de Carnegie Mellon affirment que leur moteur Quail a poussé une requête AI-SQL à jointures multiples au-delà d'un milliard de tokens par minute sur un seul H100, plus de 10 fois leur référence vLLM, dans un billet publié le 30 septembre.

La promesse s'accompagne d'un prix : moins de 6 cents par milliard de tokens sur Modal, selon le blog de l'entreprise. C'est le genre de chiffre qui décide si l'AI-SQL sera déployé ou discrètement rangé au placard, car un filtre sur un million de lignes, c'est un million d'appels au modèle.
Deux goulots, deux remèdes
Le texte du Full Stack Data Lab, publié le 24 septembre, pose le problème en termes de bases de données. Une requête qui joint 5 000 comptes rendus médicaux à 4 144 termes de réactions se transforme en millions de requêtes d'inférence séparées. Les exécuter une par une via vLLM 0.26.0 avec Qwen3 4B FP8 sur un seul H100 a pris 6,84 heures, ce que les auteurs calculent comme 27,55 fois leur estimation roofline de 894,37 secondes, soit 14,91 minutes. Ils nomment deux causes : le surcoût de l'hôte, où le CPU ordonnance les requêtes pendant que le H100 tourne à vide, et le « KV regret », où le moteur jette un état clé-valeur dont il aura besoin plus tard. Sur ce banc d'essai au facteur d'échelle 1.0, vLLM a traité 174,6 millions de tokens dont il n'avait pas besoin.
La réponse de Quail consiste à examiner le plan de requête avant de l'exécuter. Si l'on connaît la forme des jointures, on peut ordonner les requêtes pour que les préfixes partagés restent en cache, et regrouper un travail qu'un moteur généraliste traite comme sans rapport. Le billet de Modal parle d'une révision de l'attention en cascade de type Hydragen. Les deux équipes présentent le projet comme une collaboration entre les chercheurs en inférence de Modal et le groupe bases de données de CMU.
Sur l'ensemble du banc d'essai, le chiffre est plus modeste : 1,84 fois plus rapide que vLLM, en moyenne géométrique, y compris deux requêtes que les auteurs ont construites exprès pour montrer où l'inférence AI-SQL échoue encore.
Les données de prix en dessous
Les promesses de coût ne pèsent pas pareil selon le prix de départ d'une heure de GPU, et ce prix bouge désormais chaque semaine. GPUAdvisor suit 14 fournisseurs et affiche Hyperstack à 0,15 dollar de l'heure pour une A4000 16GB, Lium à 0,22 dollar pour une RTX 3090 et 0,38 dollar pour une L40S, et la RTX A5000 de RunPod à 0,27 dollar à la demande contre 0,16 dollar sur son offre Community Cloud partagée. Sa page, relevée pour la dernière fois le 1er octobre, constate simplement que les prix des GPU ne forment plus une table de référence stable.
FitMyLLM attaque la même question par le côté des tokens, en soutenant qu'un tarif horaire ne dit rien sans chiffre de débit. Son tableau en direct lit les tarifs des API des fournisseurs toutes les trois minutes et classe par coût par million de tokens de sortie sur un seul flux. L'annonce d'une RTX 3060 sur Vast.ai ressort la moins chère à 0,261 dollar par million de tokens ; une RTX 5090 sur Vast.ai tourne à 227 tokens par seconde et 0,576 dollar par million. Le site prévient clairement que les cartes de datacenter se classent mal sur cette mesure par construction, puisqu'un H100 ou un H200 justifie son prix en servant plusieurs flux à la fois, et que ces lignes sont des estimations et non des mesures.
« Le prix d'une place de marché est l'annonce d'un hôte, pas un tarif publié : il peut disparaître, et un hôte peut faire tourner une carte sous sa limite de puissance d'origine, ce qui coûte de la vitesse que le prix ne montre pas. »
Pour les acheteurs d'API plutôt que de GPU, l'index de septembre d'AICostBudget fige 81 enregistrements publics chez 11 fournisseurs, avec une date d'arrêté au 2026-09-30. Le prix médian d'entrée est de 1,32 dollar par million de tokens, celui de sortie de 6 dollars, et le rapport médian sortie-entrée de 5,0x. Les enregistrements en entrée mise en cache affichent une remise médiane de 90 % et ceux tarifés en Batch une remise médiane de 50 %, sur 58 et 44 lignes comparables respectivement. L'index prévient explicitement que ses médianes par fournisseur ne sont pas des prix de marché pondérés par l'usage, et qu'il ne revendique aucune baisse annuelle à l'échelle du secteur.
L'efficacité monte d'un cran
L'énergie est la ligne suivante. Un article présenté à SOSP '26 le 28 septembre par Prasoon Sinha, Dimitrios Liakopoulos, Nathan Lemma et Neeraja J. Yadwadkar soutient qu'optimiser uniquement le taux d'occupation du GPU peut faire grimper la consommation d'énergie. Leur système, EnerTune, s'appuie sur des modèles analytiques de performance et de puissance par modèle, y compris la consommation des modèles co-localisés sur un GPU partagé, à l'intérieur d'un algorithme de bin-packing sensible à l'énergie. Les auteurs rapportent le respect des SLO de performance tout en réduisant l'énergie de 1,4 à 2,3 fois et la puissance appelée de 1,3 à 2,6 fois face aux références de l'état de l'art. Profiler chaque configuration coûte lui-même trop cher à l'échelle, d'où des modèles analytiques plutôt que mesurés.
L'inférence embarquée tient le même raisonnement par l'autre bout. Magnitude, société YC S25 qui a publié sur Hacker News le 30 septembre, livre un moteur open source sous Apache 2.0 qui compile et ajuste les kernels sur le matériel de l'utilisateur avant l'exécution d'un modèle. Son README annonce jusqu'à 2 fois plus rapide que llama.cpp, avec un décodage 92 % plus rapide sur Metal et 19 % sur CUDA, et 27 % de mémoire en moins par agent. Aucun coût par token, rien ne quitte la machine. La contrepartie : il fait tourner des modèles ouverts sur votre GPU, pas un modèle de pointe sur celui d'un autre.
Ce que les acheteurs doivent surveiller
Trois chiffres du dossier pointent dans des directions différentes. Le gain moyen de 1,84 fois de Quail est réel mais modeste à côté du titre du milliard de tokens par minute, et les auteurs le disent eux-mêmes. Le tarif mesuré le moins cher de FitMyLLM, 0,261 dollar par million de tokens, repose sur une carte grand public que la plupart des équipes de production ne déploieraient pas. Le prix médian de sortie d'AICostBudget, 6 dollars par million de tokens, reflète des tarifs catalogue, pas les tarifs en cache ou en Batch que la plupart des gros volumes paient réellement.
Lecture pratique : les tarifs horaires par GPU sont devenus une comparaison de commodité, et la différenciation s'est déplacée vers le débit par dollar, le comportement du cache et l'énergie. Les auteurs de Quail disent clairement que c'est un début, pas une fin. Ils réclament la seule chose que leur banc d'essai ne peut pas fournir seul : de vraies charges de travail, venues d'équipes qui font tourner l'AI-SQL à l'échelle.
Sources
7- 01Quail: Speeding up AI-SQL by jointly optimizing query planner and inference engineEN
- 02Building an Ultra-High Throughput AI-SQL EngineEN
- 03Cloud GPU Pricing — Cost Intelligence for H100, A100 & B200EN
- 04Cloud GPU prices for LLM inference — cost per million tokensEN
- 05AI API Pricing Index — September 2026EN
- 06Beyond Utilization: Energy-Conscious GPU Sharing for Inference ServingEN
- 07Launch HN: Magnitude (YC S25) – Self-optimizing inference engine for agentsEN
Tous les chiffres et citations de ce texte proviennent des sources citées ci-dessous.
Les contenus ont été préparés par l'équipe de rédaction, assistée par l'IA.
Commentaires
0- Aucun commentaire — soyez le premier.