Aller au contenu
Heure mondialeEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portail sur l'IA et la technologieactualités · analyses · entretiens · fond technique

Rechercher
EN DIRECT
›

Course aux coûts d'inférence : Quail revendique 1 milliard de tokens par minute, Magnitude optimise les kernels sur l'appareil

Deux équipes d'ingénieurs ont publié séparément le 30 septembre des résultats selon lesquels le coût d'exploitation des modèles ouverts peut baisser en réécrivant la façon dont les moteurs d'inférence gèrent le matériel et la structure des requêtes, sans attendre des GPU moins chers.

IA & modèlesAnalyseCamille RousseauPublié le: 30 septembre 20263 min de lectureSources 6
Course aux coûts d'inférence : Quail revendique 1 milliard de tokens par minute, Magnitude optimise les kernels sur l'appareil

Modal et le Full Stack Data Lab de l'université Carnegie Mellon ont annoncé le 30 septembre que Quail, leur moteur d'inférence développé en commun, avait traité plus d'un milliard de tokens par minute sur un seul GPU H100 pour une requête AI-SQL à jointures multiples. C'est plus de 10x leur référence vLLM sur le même matériel, selon le billet de blog de Modal, soit moins de 6 cents par milliard de tokens sur le cloud de Modal. Rapporté au volume annoncé, cela équivaut à 4 000 000 000 de tokens en quatre minutes environ.

La revendication repose sur une charge de travail précise. AI-SQL étend le SQL ordinaire avec des fonctions qui appellent un modèle de langage : un filtre peut donc déclencher un appel de modèle par ligne, et une jointure un appel par paire de lignes. Le document technique du Full Stack Data Lab décrit une requête de référence, BIO-4, portant sur 5 000 comptes rendus médicaux et 4 144 termes de réaction. Exécutée sur vLLM 0.26.0 avec Qwen3 4B FP8 sur un seul H100, elle a pris 6,84 heures au facteur d'échelle 1.0, ce que les auteurs calculent comme 27,55x une estimation roofline de 14,91 minutes.

Du travail de moteur, pas de silicium

Cet écart fait l'argument. Les auteurs attribuent la perte à la surcharge de l'hôte, le CPU ordonnant les requêtes pendant que le H100 tourne à vide, et à ce qu'ils appellent le KV regret : vLLM jette un cache de clés et de valeurs dont il aura besoin plus tard. Le blog du laboratoire indique que la requête a traité 174 600 000 tokens de travail KV gaspillé. Quail prend au contraire le plan de requête comme entrée, ce qui lui permet d'ordonner les requêtes pour réutiliser le cache et l'évincer à dessein.

Les deux textes ne mettent pas l'accent au même endroit. Modal cadre le résultat autour de la meilleure requête et du chiffre d'un milliard de tokens par minute, tandis que le Full Stack Data Lab rapporte que Quail va 1,84x plus vite que vLLM en moyenne géométrique sur son nouveau banc d'essai AI-SQL, y compris deux requêtes que les auteurs ont conçues pour exposer les faiblesses restantes. Les deux séries de chiffres viennent de la même collaboration : ce n'est pas une vérification indépendante.

Le même jour, Magnitude, société du programme Y Combinator S25, a ouvert le code de son propre moteur d'inférence sous Apache 2.0. Son dépôt GitHub annonce que les modèles ouverts y tournent jusqu'à 2x plus vite que sur llama.cpp, avec un décodage 92% plus rapide sur Metal et 19% sur CUDA. Le mécanisme diffère de celui de Quail : Magnitude compile et ajuste les kernels sur l'appareil de l'utilisateur avant l'exécution du modèle, pour Apple Silicon, Nvidia, AMD ou un simple CPU. Le dépôt revendique aussi 27% de mémoire en moins par agent et un partage du cache de préfixes entre sessions simultanées.

Les deux sorties s'inscrivent dans un marché où les prix catalogue ne baissent pas uniformément. L'instantané de septembre d'AICostBudget, figé à la coupure UTC du 30 septembre, couvre 81 relevés de prix publics chez 11 fournisseurs. Il place la médiane des entrées à 1,32 dollar par million de tokens et celle des sorties à 6 dollars, un rapport de 5,0x, avec une remise médiane de 90% sur les entrées en cache et un tarif par lots à 50%. La sortie, plus que l'ingestion du prompt, est le poste le plus cher.

Le travail au niveau matériel se mesure aussi en énergie plutôt qu'en taux d'occupation. Un article publié à SOSP '26 le 28 septembre, Beyond Utilization, soutient qu'optimiser le multiplexage des GPU pour le seul taux d'occupation peut augmenter la consommation d'énergie. Son système, EnerTune, s'appuie sur des modèles analytiques de la puissance par modèle et de la consommation des modèles colocalisés ; les auteurs rapportent des réductions d'énergie de 1,4x à 2,3x et de puissance de 1,3x à 2,6x face à des références de l'état de l'art non nommées, tout en tenant les objectifs de performance.

Un avertissement vient d'ailleurs, hors de l'infrastructure. Gaurav Kogan, de Pinecone, a raconté le 30 septembre comment l'entreprise a retiré son calculateur de prix à l'usage après un test A/B. Les visiteurs qui ne le voyaient pas étaient 16% plus nombreux à s'inscrire et 90% plus nombreux à prendre contact, sans hausse des tickets de support sur les tarifs, écrit-il. La leçon vaut au-delà : un outil censé clarifier un coût peut fausser la décision pour laquelle il a été conçu.

Commentaires 0

Sources

6
  1. 01Hitting 1B tokens/minute on 1 GPU combining a query planner and inference engineEN
  2. 02Building an Ultra-High Throughput AI-SQL EngineEN
  3. 03Launch HN: Magnitude (YC S25) – Self-optimizing inference engine for agentsEN
  4. 04AI API pricing index - September 2026EN
  5. 05Beyond Utilization: Energy-Conscious GPU Sharing for Inference ServingEN
  6. 06The pricing calculator made people more confused about pricingEN

Tous les chiffres et citations de ce texte proviennent des sources citées ci-dessous.

Les contenus ont été préparés par l'équipe de rédaction, assistée par l'IA.

Camille Rousseau

Camille Rousseau

IA, modèles et technologies

Camille Rousseau suit les technologies, l’IA et les modèles ainsi que les médias et l’internet pour FLASH24, en partant des dépôts de modèles, des publications techniques et des données publiques, sans reprendre les annonces sans vérification. Elle contrôle les chiffres d’entraînement et de coût en remontant aux jeux de données, aux versions de modèles et aux méthodes de mesure. Elle interroge des chercheurs et des équipes produit, compare les résultats entre modèles et attend les mises à jour de calendrier des principaux fournisseurs. Son intérêt pour l’impression 3D, les vieux ordinateurs et la façon dont les modèles apprennent rejoint directement son travail sur l’IA et les technologies. Elle ne publie pas de chiffres sans source ni de comparaison sans protocole reproductible.

Rédaction →

Commentaires

0
  1. Aucun commentaire — soyez le premier.

Écrire un commentaire

Les commentaires sont publics. Nous ne publions ni insultes, ni spam, ni publicité.