Quail et Magnitude attaquent les coûts d'inférence par les deux bouts de la pile
Deux projets open source publiés le 30 septembre revendiquent le même gain par des chemins opposés. Quail annonce plus de 4 000 000 000 de tokens traités par minute sur un seul H100, en planifiant les requêtes SQL contre le moteur d'inférence. Magnitude affirme de son côté faire tourner des modèles ouverts jusqu'à 2 fois plus vite que llama.cpp, en compilant les kernels sur la machine de l'utilisateur.

La promesse de Modal et du Full Stack Data Lab de l'université Carnegie Mellon est précise. Quail, la QUery-Aware Inference Layer, a dépassé 4 000 000 000 de tokens traités par minute et par GPU H100 sur une seule requête à jointures multiples, ont écrit ses auteurs le 30 septembre. C'est plus de 10 fois plus vite que leur référence vLLM sur le même matériel. Sur le cloud de Modal, cela revient à moins de 6 cents par milliard de tokens.
Le chiffre est assez gros pour ressembler à une coquille.
Il ne porte ni sur un nouveau modèle ni sur une nouvelle puce. Il porte sur l'ordre des opérations.
Ce que fait réellement Quail
AI-SQL étend SQL avec des fonctions qui appellent un modèle de langage ligne par ligne. Un filtre demande un appel par ligne. Une jointure naïve demande un appel pour chaque paire de lignes entre deux tables. Le billet du Full Stack Data Lab, publié le 24 septembre et repris par Modal, détaille une requête de référence nommée BIO-4 : 5 000 comptes rendus médicaux joints à 4 144 termes de réaction, deux fois. Le calcul du laboratoire situe le plancher théorique de cette requête à 894 secondes, soit 14,91 minutes, en supposant le débit maximal du GPU, un recouvrement complet CPU-GPU et un espace illimité pour le cache KV conservé. Faire tourner vLLM 0.26.0 avec Qwen3 4B FP8 sur un seul H100 a pris 6,84 heures, soit 27,55 fois cette borne basse. Le billet attribue l'écart à deux choses. D'abord la surcharge de l'hôte, où le CPU planifie les requêtes pendant que le H100 reste inactif. Ensuite ce qu'il appelle le KV regret, où vLLM jette un cache clé-valeur dont il aura besoin plus tard. Sur BIO-4 au facteur d'échelle 1.0, le laboratoire indique que vLLM a traité 174 600 000, et la phrase s'interrompt dans le texte dont nous disposons.
La correction de Quail consiste à utiliser la structure de la requête elle-même comme signal d'ordonnancement. Si le moteur connaît le plan, il peut ordonner les requêtes pour réutiliser le cache et l'évincer volontairement, plutôt que par réaction. Le billet de Modal décrit cela comme une légère révision de l'attention en cascade à la Hydragen, et crédite la collaboration entre les chercheurs en inférence de Modal et les chercheurs en bases de données de CMU.
Sur un benchmark AI-SQL fraîchement publié, Quail tourne 1,84 fois plus vite que vLLM en moyenne géométrique sur les tâches, un chiffre bien plus petit que le titre au milliard de tokens. Le billet de Modal précise que le benchmark contient deux requêtes conçues pour montrer où l'inférence AI-SQL doit encore progresser. C'est une divulgation utile : le facteur 10 est un meilleur cas sur une requête, pas un gain général.
Magnitude prend l'autre chemin
Magnitude, société de Y Combinator S25, a publié son dépôt le 30 septembre avec un argument différent. Son moteur d'inférence compile et ajuste les kernels sur la machine réelle avant l'exécution du modèle, au lieu de livrer des kernels précompilés pour de grandes classes de matériel. Le README annonce jusqu'à 2 fois plus vite que llama.cpp, avec un décodage 92 pour cent plus rapide sur Metal et 19 pour cent sur CUDA. Il annonce aussi 27 pour cent de mémoire en moins par agent.
Le matériel pris en charge est volontairement large : Apple Silicon, NVIDIA, AMD, ou un CPU seul. Le projet dit qu'il n'y a pas de minimum fixe, et que les petites machines font tourner de petits modèles. Il se présente comme une application de bureau avec une CLI, se connecte à Pi, OpenCode, Hermes, OpenClaw, Codex, Claude Code, Oh My Pi et Cline, et expose une API compatible OpenAI pour tout le reste. Il est sous licence Apache 2.0 et tourne en local.
Les deux projets ne sont pas concurrents. Quail vise la couche SQL analytique, où un planificateur de requêtes génère des millions de petits appels structurés au modèle. Magnitude vise l'ordinateur portable du développeur, où un agent tourne contre un modèle et où la contrainte est la mémoire et la vitesse de décodage. Mais ils attaquent le même problème de coût par les deux bouts : l'inférence coûte cher parce que les moteurs généralistes ne savent pas ce que la charge de travail va faire ensuite.
Ce que disent les données de prix
L'indice tarifaire de septembre d'AICostBudget, figé à la date limite du 30 septembre UTC sur 81 enregistrements publics de 11 fournisseurs, donne le contexte du marché. Sur 69 enregistrements dotés d'un prix courant au token d'entrée, les tarifs vont de 0,10 à 30 dollars par 1 000 000 de tokens. Les prix de sortie vont de 0,10 à 180 dollars. Le prix médian d'entrée est de 1,32 dollar, le prix médian de sortie de 6 dollars, et le rapport médian sortie-entrée de 5,0 fois.
L'indice souligne un point facile à manquer dans un classement du seul modèle le moins cher. Sur 58 enregistrements comparables, la remise médiane sur l'entrée mise en cache est de 90 pour cent. Sur 44 enregistrements compatibles avec le traitement par lots, la remise médiane est de 50 pour cent. Une comparaison de charges de travail qui ignore l'un ou l'autre mode compare des prix catalogue que personne ne paie.
Les médianes par fournisseur de l'indice, que la méthodologie précise non pondérées par l'usage ni par la part de marché : Google Gemini à 0,75 dollar en entrée et 4 125 pour mille en sortie sur 14 enregistrements tarifés, Mistral AI à 0,20 et 0,60 sur 7, DeepSeek à 0,30 et 1,20 sur 3, OpenAI à 2 et 11 sur 18, xAI à 1,25 et 2,50 sur 9, Cohere à 1,50 et 5,75 sur 2, Anthropic à 5 et 25 sur 13, et Moonshot AI à 0,95 et 4 sur 3. AWS, Azure et Google Cloud apportent chacun un enregistrement sans valeur numérique.
Le versant matériel
L'efficacité matérielle est attaquée en parallèle. EnerTune, article publié dans les actes de SOSP '26 le 28 septembre, soutient qu'optimiser des grappes GPU uniquement pour le taux d'utilisation peut augmenter la consommation d'énergie. Les auteurs, Prasoon Sinha, Dimitrios Liakopoulos, Nathan Lemma et Neeraja J. Yadwadkar, proposent des modèles analytiques pour la performance et la puissance par modèle, plus la consommation de modèles colocalisés sur des GPU partagés, qui alimentent un algorithme de bin-packing sensible à l'énergie. Ils rapportent le respect des SLO de performance tout en réduisant l'énergie de 1,4 à 2,3 fois et la puissance appelée de 1,3 à 2,6 fois face aux références de l'état de l'art.
C'est un levier différent de celui de Quail, avec la même réserve : des résultats de benchmark, pas des déploiements en production. L'article note explicitement que profiler chaque modèle sous des centaines de configurations coûte trop cher à l'échelle, d'où le recours à des modèles analytiques.
Entre-temps, l'expérience de Pinecone avec son propre calculateur de prix, racontée par Gkogan le 30 septembre, rappelle que la confusion sur les coûts n'est pas qu'un problème de calcul. L'entreprise a retiré le calculateur après un test A/B montrant que les visiteurs qui ne le voyaient pas étaient 16 pour cent plus susceptibles de s'inscrire et 90 pour cent plus susceptibles de prendre contact, sans hausse des tickets de support sur les prix. Sept employés sur dix avaient prédit que la version avec calculateur l'emporterait.
Le fil commun entre Quail, Magnitude et EnerTune, c'est que les plus gros gains viennent d'en savoir plus sur la charge de travail, qu'il s'agisse d'un plan de requête, d'une puce précise ou d'un motif de colocalisation. Les moteurs généralistes laissent cette information sur la table. Ce qu'aucun des trois n'établit encore, c'est si les gains survivent au contact d'un trafic de production désordonné, et seul Magnitude livre quelque chose qu'un développeur peut installer aujourd'hui.
Sources
6- 01Hitting 1B tokens/minute on 1 GPU combining a query planner and inference engineEN
- 02Jointly optimizing SQL queries and LLM inference for up to 14x speedupsEN
- 03Launch HN: Magnitude (YC S25) - Self-optimizing inference engine for agentsEN
- 04AI API Pricing Index - September 2026EN
- 05Beyond Utilization: Energy-Conscious GPU Sharing for Inference ServingEN
- 06The pricing calculator made people more confused about pricingEN
Tous les chiffres et citations de ce texte proviennent des sources citées ci-dessous.
Les contenus ont été préparés par l'équipe de rédaction, assistée par l'IA.
Commentaires
0- Aucun commentaire — soyez le premier.