Aller au contenu
Heure mondialeEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portail sur l'IA et la technologieactualités · analyses · entretiens · fond technique

Rechercher
EN DIRECT
›

Le moteur d'inférence Quail atteint 1 milliard de tokens par minute sur un seul H100

Deux équipes de recherche ont publié le 30 septembre de nouveaux résultats sur des moteurs d'inférence. Selon elles, les requêtes AI-SQL peuvent s'exécuter plus de dix fois plus vite qu'une base de référence vLLM sur le même matériel.

IA & modèlesActualitéSophie LeclercPublié le: 30 septembre 20264 min de lectureSources 7
Le moteur d'inférence Quail atteint 1 milliard de tokens par minute sur un seul H100

Le 30 septembre, Modal et le Full Stack Data Lab de l'université Carnegie Mellon ont publié les résultats de Quail, une couche d'inférence sensible aux requêtes. D'après eux, elle traite plus de 1 000 000 000 de tokens par minute et par GPU H100 sur une requête à jointures multiples, soit plus de 10 fois plus vite que leur base de référence vLLM sur le même matériel. Le chiffre s'accompagne d'un coût : moins de 6 cents par milliard de tokens sur Modal, soit 4 000 000 000 de tokens.

Le travail porte sur AI-SQL, cette extension de SQL qui permet à une requête d'appeler un modèle de langage ligne par ligne. Le blog du Full Stack Data Lab décrit un filtre qui demande un appel LLM par ligne, et une jointure naïve qui en demande un pour chaque paire de lignes de ses deux tables d'entrée. L'arithmétique grimpe vite. Dans une requête de référence que le laboratoire appelle BIO-4, 5 000 comptes rendus médicaux sont joints à 4 144 termes de réaction, la liste des réactions étant utilisée deux fois. Une base de référence vLLM 0.26.0 avec Qwen3 4B FP8 sur un seul H100 a pris 6,84 heures au facteur d'échelle 1.0, écrit le laboratoire. Selon son calcul, cela représente 27,55 fois une estimation optimiste de roofline de 14,91 minutes.

Le laboratoire attribue l'écart à deux causes.

La première est la surcharge de l'hôte : le CPU passe de longues périodes à ordonnancer des requêtes pendant que le GPU attend. La seconde, qu'il appelle KV regret, vient de ce que vLLM jette un état de clés et de valeurs dont il aura besoin plus tard. La passe BIO-4 traite ainsi 174 600 000 tokens qui n'étaient pas nécessaires.

« Le grand avantage, c'est qu'avec une requête structurée en main, on peut ordonner les requêtes pour mieux mettre en cache (et évincer) le KV », écrit le blog de Modal.

Quail n'est pas seul sur ce terrain. Magnitude, société du programme Y Combinator S25, a ouvert son dépôt sur GitHub le 30 septembre avec un argument différent : un moteur d'inférence open source pour agents, qui compile et ajuste les kernels sur la machine de l'utilisateur. Son README affirme que les modèles ouverts y tournent jusqu'à 2 fois plus vite que sur llama.cpp, avec un décodage 92 % plus rapide sur Metal et 19 % sur CUDA, et 27 % de mémoire en moins par agent. Il cite Apple Silicon, NVIDIA, AMD et les CPU classiques parmi les cibles, et sort sous Apache 2.0. Les deux projets soutiennent que la pile de service généraliste laisse de la performance sur la table. La réponse de Quail : connaître la structure de la requête à l'avance. Celle de Magnitude : connaître le silicium.

L'économie derrière cet argument est visible dans les données tarifaires. L'indice de septembre d'AICostBudget, figé à la date limite du 30 septembre UTC, couvre 81 relevés tarifaires publics chez 11 fournisseurs. Sur les 69 relevés dotés d'un scalaire courant pour les tokens d'entrée, les prix vont de 0,10 à 30 dollars par 1 000 000 de tokens. La sortie va de 0,10 à 180 dollars. Le ratio médian sortie/entrée sur les 69 relevés portant les deux scalaires est de 5,0. Les remises comptent autant que les prix affichés. Sur 58 relevés comparables, l'indice rapporte une remise médiane de 90 % sur l'entrée mise en cache. Sur 44 relevés compatibles avec le traitement par lots, la remise médiane sur l'entrée est de 50 %. La page méthodologie précise que les tarifs régionaux et les tarifs négociés ne sont pas pris en compte, et que ces chiffres servent à la planification, pas de facture.

La recherche côté matériel va dans la même direction. Un article présenté à SOSP '26 le 28 septembre décrit EnerTune, un système de service qui s'appuie sur des modèles analytiques de performance et de puissance par modèle, plus la consommation des modèles co-localisés sur des GPU partagés, pour alimenter un algorithme de bin-packing énergétique. Les auteurs, Prasoon Sinha, Dimitrios Liakopoulos, Nathan Lemma et Neeraja J. Yadwadkar, rapportent des réductions d'énergie de 1,4 à 2,3 fois et de puissance de 1,3 à 2,6 fois par rapport aux meilleures bases de référence, tout en respectant les SLO de performance.

Leur point de départ : les clusters de GPU restent largement sous-utilisés, et optimiser uniquement le taux d'utilisation peut augmenter la consommation d'énergie. À l'échelle, argumentent-ils, profiler chaque modèle sur des centaines de configurations coûte trop cher, si bien que l'estimation doit remplacer la mesure.

Tous les résultats récents ne concernent pas la pile de service. MindOn a présenté Mind-1 le 30 septembre, un modèle d'IA physique qui, selon la société, fait passer la latence d'inférence des robots de 82 ms à 32 ms, ramenant les tâches de manipulation à des temps de cycle humains. La note de l'entreprise rappelle qu'à une vitesse d'effecteur de 3 m/s, 10 ms de latence équivalent à environ 3 cm de déplacement, de quoi affecter une saisie ou une insertion précises. C'est le même argument de budget de latence, appliqué à un bras robotique plutôt qu'à un entrepôt de données.

Un contrepoids mérite d'être signalé. Un billet de Gleb Kogan publié le 30 septembre raconte que Pinecone a retiré de sa page tarifaire un calculateur de prix à l'usage. Dans un test A/B, les visiteurs qui ne voyaient pas le calculateur étaient 16 % plus nombreux à s'inscrire et 90 % plus nombreux à contacter l'entreprise, sans hausse des tickets d'assistance sur les tarifs. Le sondage interne mené avant le test trouvait que 7 employés sur 10 s'attendaient à voir gagner la version avec calculateur. Les outils de coût, autrement dit, peuvent tromper autant qu'informer, ce qui invite à la prudence quand on lit un benchmark par token comme une facture.

Les chiffres de Quail restent de la recherche publiée par un fournisseur. Le 1,84 fois que l'équipe donne pour son benchmark tout juste publié, moyenné géométriquement sur les tâches, est une affirmation bien plus modeste que le titre du milliard de tokens par minute. Le benchmark lui-même inclut deux requêtes que les auteurs disent avoir conçues pour montrer où l'inférence AI-SQL doit encore progresser.

Commentaires 0

Sources

7
  1. 01Hitting 1B tokens/minute on 1 GPU combining a query planner and inference engineEN
  2. 02Building an Ultra-High Throughput AI-SQL EngineEN
  3. 03Launch HN: Magnitude (YC S25) - Self-optimizing inference engine for agentsEN
  4. 04AI API Pricing Index - September 2026EN
  5. 05Beyond Utilization: Energy-Conscious GPU Sharing for Inference ServingEN
  6. 06Mind-1: Physical AI at Human Speed, Built for Real WorkEN
  7. 07The pricing calculator made people more confused about pricingEN

Tous les chiffres et citations de ce texte proviennent des sources citées ci-dessous.

Les contenus ont été préparés par l'équipe de rédaction, assistée par l'IA.

Sophie Leclerc

Sophie Leclerc

IA, modèles et technologies

Sophie Leclerc couvre les technologies, l'IA et les modèles ainsi que les médias et l'internet pour FLASH24, en travaillant à partir des dépôts de code, des articles scientifiques et des documents techniques plutôt que des annonces. Elle vérifie chaque chiffre en remontant aux jeux de données d'origine et en comparant les versions successives des modèles. Elle interroge régulièrement des ingénieurs et des chercheurs, et suit les calendriers de publication des principales conférences du secteur. Son intérêt personnel pour l'auto-hébergement et les réseaux domestiques nourrit directement sa couverture des infrastructures et des modèles ouverts. Elle ne publie pas de performance annoncée sans méthode de mesure vérifiable.

Rédaction →

Commentaires

0
  1. Aucun commentaire — soyez le premier.

Écrire un commentaire

Les commentaires sont publics. Nous ne publions ni insultes, ni spam, ni publicité.