Quail exécute l'AI-SQL à 1 milliard de tokens par minute sur un seul H100, 10 fois plus vite que vLLM
Modal et le Full Stack Data Lab de Carnegie Mellon ont publié le 30 septembre Quail, un moteur d'inférence qui optimise ensemble la planification des requêtes SQL et l'exécution du LLM pour dépasser le milliard de tokens par minute sur un seul H100, soit plus de 10 fois une base vLLM.

Les chiffres parlent d'eux-mêmes. Sur une requête à plusieurs jointures, Quail traite plus d'un milliard de tokens par minute et par GPU H100, selon Modal, qui a construit le moteur avec le Full Stack Data Lab de l'université Carnegie Mellon. Sur le matériel de Modal, cela revient à moins de 6 cents par milliard de tokens. Sur un nouveau benchmark de requêtes AI-SQL, Quail tourne 1,84 fois plus vite que vLLM, en moyenne géométrique sur les tâches.
Le billet publié le même jour par le Full Stack Data Lab explique où la base se casse. L'équipe a fait tourner vLLM 0.26.0 avec Qwen3 4B FP8 sur un H100 face à BIO-4, une requête qui filtre 5 000 comptes rendus médicaux contre 4 144 termes de réaction, avec deux jointures. Leur estimation de vitesse de la lumière pour ce plan donnait 894,37 secondes, soit 14,91 minutes. vLLM a mis 6,84 heures, 27,55 fois cette estimation.
Deux causes. Le surcoût côté hôte, où le CPU planifie et suit les requêtes pendant que le H100 tourne à vide. Et le gaspillage de KV : vLLM jette un cache clé-valeur dont il aura besoin plus tard, si bien qu'à un facteur d'échelle de 1,0 l'exécution a traité 174,6 millions de tokens de prefill inutiles.
Le correctif de Quail est structurel. Avec un plan de requête en main, le moteur peut ordonner et évincer le cache KV à dessein, une révision de l'attention en cascade de type Hydragen, et il peut regrouper les petites requêtes pour que le GPU reste occupé. Modal décrit le résultat comme un point où la planification de base de données et l'ordonnancement de l'inférence cessent d'être deux problèmes séparés.
Pourquoi cela compte pour la facture
L'AI-SQL désigne le schéma où l'on étend SQL avec des fonctions définies par l'utilisateur qui appellent un LLM. Snowflake Cortex AISQL, les fonctions AI de BigQuery, Databricks AI Functions et, récemment, MotherDuck le prennent tous en charge, note le Full Stack Data Lab. Un filtre implique un appel au modèle par ligne. Une jointure naïve implique un appel pour chaque paire de lignes. Une seule requête peut générer des centaines de milliers ou des millions d'appels.
Dans ce contexte, le paysage général des prix devient plus confus, pas plus clair. L'indice tarifaire de septembre d'AICostBudget, figé à la date limite du 2026-09-30 UTC, couvre 81 enregistrements publics chez 11 fournisseurs. Le prix médian des entrées est de 1,32 dollar par million de tokens ; celui des sorties de 6 dollars. La remise médiane sur les entrées en cache atteint 90 %, celle sur le traitement par lots 50 %. La même page prévient que les prix catalogue servent à planifier, pas à facturer.
Les tarifs horaires bruts des GPU racontent la même divergence. GPUAdvisor, qui suit 14 fournisseurs, avec un dernier relevé le 1er octobre, liste une A4000 16 Go chez Hyperstack à 0,15 dollar de l'heure, une RTX 3090 chez Lium à 0,22 dollar et une L40S chez Lium à 0,38 dollar, qu'il annonce 89 % sous AWS. Le résumé du site est direct : les clouds spécialisés en GPU affichent des prix par GPU 2 à 4 fois inférieurs à ceux des hyperscalers, et le spot peut économiser 60 à 70 % sur les entraînements avec points de contrôle.
FitMyLLM convertit les tarifs horaires en coût par million de tokens, et le classement s'inverse. Son option mesurée la moins chère est une RTX 3060 12 Go sur Vast.ai à 0,261 dollar par million de tokens. Une RTX 5090 sur Vast.ai est la carte mesurée la plus rapide à 227 tokens par seconde, mais coûte 0,576 dollar par million. Les cartes de datacenter se classent mal dans cette vue mono-flux, et FitMyLLM le dit : un H100 justifie son prix en servant de nombreux flux à la fois, et sur un seul flux sa bande passante reste largement inutilisée.
La question d'efficacité en dessous
L'énergie est l'axe suivant. Un article présenté à SOSP '26 le 28 septembre, signé Prasoon Sinha, Dimitrios Liakopoulos, Nathan Lemma et Neeraja J. Yadwadkar, soutient qu'optimiser uniquement le taux d'occupation du GPU peut faire grimper la consommation. Leur système, EnerTune, revendique une énergie 1,4 à 2,3 fois plus basse et une puissance appelée 1,3 à 2,6 fois plus faible que les meilleures bases, tout en respectant les SLO de performance.
Tous les acteurs ne courent pas sur la même courbe. Mind-1 de MindOn, annoncé le 30 septembre, vise la latence d'inférence des robots, la ramenant de 82 ms à 32 ms, un autre coin du même problème : ce qu'une heure de calcul achète vraiment.
Sources
7- 01Hitting 1B tokens/minute on 1 GPU combining a query planner and inference engineEN
- 02Jointly optimizing SQL queries and LLM inference for up to 14x speedupsEN
- 03AI API pricing index - September 2026EN
- 04Cloud GPU Pricing - Cost Intelligence for H100, A100 & B200EN
- 05Cloud GPU prices for LLM inference - cost per million tokensEN
- 06Beyond Utilization: Energy-Conscious GPU Sharing for Inference ServingEN
- 07Mind-1: Cutting robot inference latency from 82ms to 32msEN
Tous les chiffres et citations de ce texte proviennent des sources citées ci-dessous.
Les contenus ont été préparés par l'équipe de rédaction, assistée par l'IA.
Commentaires
0- Aucun commentaire — soyez le premier.