Aller au contenu
Heure mondialeEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portail sur l'IA et la technologieactualités · analyses · entretiens · fond technique

Rechercher
EN DIRECT
›

Quail revendique 1 milliard de tokens par minute sur un seul H100, alors que les coûts d'inférence divergent

Deux nouveaux moteurs d'inférence promettent des gains d'efficacité d'un ordre de grandeur sur le même matériel GPU. En parallèle, le nouvel abonnement d'OpenAI à 500 dollars et un instantané tarifaire de septembre montrent que le marché du token continue d'aller dans des directions opposées.

IA & modèlesActualitéSophie LeclercPublié le: 30 septembre 20267 min de lectureSources 10
Quail revendique 1 milliard de tokens par minute sur un seul H100, alors que les coûts d'inférence divergent

Le 30 septembre, le Full Stack Data Lab a publié un article consacré à Quail, un moteur d'inférence conçu spécialement pour AI-SQL, ces extensions SQL qui permettent à une requête d'appeler des grands modèles de langage ligne par ligne. Le projet revendique plus de 1 milliard de tokens traités par minute sur un seul GPU H100 pour une requête à jointures multiples, et un gain de vitesse de 1,84x en moyenne géométrique face à vLLM sur un nouveau banc d'essai de charges AI-SQL.

C'est le chiffre vedette. Il est aussi étroit.

Le milliard de tokens par minute provient d'une seule requête que l'équipe décrit comme un cas où « la planification compte particulièrement », pas d'une moyenne. Le chiffre plus large du banc d'essai, 1,84x, est celui que les auteurs présentent comme le résultat général. Le même jour, Magnitude, société de Y Combinator S25, a lancé un moteur d'inférence open source qui, selon elle, ajuste ses kernels sur le matériel de l'utilisateur avant l'exécution d'un modèle. Son README GitHub annonce jusqu'à 2x plus rapide que llama.cpp, avec un décodage 92% plus rapide sur Apple Metal et 19% sur CUDA, et 27% de mémoire en moins par agent. Le projet est distribué sous Apache 2.0 et fonctionne sur Apple Silicon, NVIDIA, AMD ou processeur seul.

Ce que les chiffres comparent vraiment

Aucune des deux annonces n'est une affirmation générale sur le prix de l'inférence. Magnitude se compare à llama.cpp, un moteur polyvalent, et attribue son avantage à des kernels écrits à la main pour les familles de modèles à poids ouverts les plus répandues. Quail se compare à vLLM et attribue son avantage à l'optimisation conjointe du plan de requête SQL et du moteur d'inférence. Des millions d'appels liés partagent ainsi des caches de préfixe au lieu d'arriver comme des requêtes séparées.

L'article du Full Stack Data Lab, daté du 24 septembre, expose directement le problème de coût : une fonction AI dans une requête SQL évalue son prompt à chaque ligne. Un filtre exige donc un appel LLM par ligne, et une jointure naïve un appel pour chaque paire de lignes de ses deux entrées.

La requête de référence de l'équipe, BIO-4, porte sur 5 000 longs comptes rendus médicaux joints à 4 144 termes de réaction. Les auteurs affirment qu'envoyer ces appels à un moteur polyvalent sous forme de requêtes séparées coûte cher. Leur solution consiste à planifier au niveau de la requête. L'article de Modal sur le même travail donne l'économie plus crûment : moins de 6 cents par milliard de tokens sur le matériel Modal pour la requête au milliard de tokens par minute. Ce chiffre est celui d'un fournisseur pour sa propre plateforme, et il couvre une seule forme de requête, pas une charge représentative.

Différentes applications d'inférence produisent différentes charges d'inférence, et AI-SQL ne fait pas exception. Une requête comme celle ci-dessus peut produire des millions de séquences de milliers de tokens.

Le prix des abonnements va dans l'autre sens

Du côté grand public, OpenAI est allé dans la direction opposée. Lors de son DevDay de mardi, l'entreprise a annoncé une offre Pro 500 à 500 dollars par mois, soit 300 de plus que son précédent forfait le plus haut, selon Business Insider. Ce forfait inclut l'accès à la puissance de calcul « Ultrafast » pour GPT-6 Astra dans ChatGPT Work et Codex, qu'OpenAI présente comme un gain de vitesse de 8x dans Codex, ainsi que le volume d'usage inclus le plus élevé de l'entreprise.

OpenAI a aussi rouvert son forfait Pro à 200 dollars, mais en divisant par deux le volume de calcul inclus.

Ce volume correspond désormais à 10x celui du forfait Plus à 20 dollars, contre un multiple de 20x auparavant, et les messages de chat GPT-6 Pro passent de 200 à 100 par semaine. Thibault Sottiaux, responsable de l'ingénierie pour Codex, a écrit lundi dans un message sur X que ces changements reviennent à la moitié des dépenses API en dollars par rapport au forfait précédent. « Je voulais partager ce changement à l'avance pour que vous puissiez tous le comprendre avant qu'on vous abreuve de bonnes nouvelles », écrit-il, cité par Business Insider. Les deux mouvements pointent dans des directions opposées : un volume moins cher au token au niveau des 200 dollars, un forfait bien plus cher au-dessus. Les abonnés Pro existants reçoivent un crédit unique pendant la transition.

Un instantané distinct publié le 30 septembre par AICostBudget couvre 81 tarifs publics chez 11 fournisseurs et situe la médiane des entrées à 1,32 dollar et celle des sorties à 6 dollars par million de tokens. La fourchette observée sur 69 enregistrements disposant d'un prix d'entrée va de 0,10 à 30 dollars, et de 0,10 à 180 dollars pour les sorties. La sortie est généralement la composante la plus chère du prix catalogue, avec un rapport médian sortie-entrée de 5,0x.

Le même jeu de données rapporte une remise médiane de 90% sur les entrées mises en cache sur 58 enregistrements comparables, et une remise médiane de 50% sur les entrées Batch sur 44. C'est la partie du marché où le prix effectif peut s'écarter fortement du prix catalogue, et celle qu'une comparaison de coûts naïve oublie le plus souvent.

Matériel, énergie et le reste de la pile

Le travail sur l'efficacité ne se limite pas aux tokens par seconde. Un article présenté à SOSP '26 le 28 septembre décrit EnerTune, un système de service qui modélise la consommation électrique de chaque modèle et celle des modèles colocalisés sur des GPU partagés. Il utilise ensuite un algorithme de bin-packing sensible à l'énergie pour les placer et les configurer. Les auteurs annoncent une consommation d'énergie de 1,4x à 2,3x inférieure et une puissance appelée de 1,3x à 2,6x inférieure à celle des références les plus avancées, tout en respectant les SLO de performance. Leur argument : optimiser uniquement le taux d'utilisation peut faire grimper la consommation d'énergie, ce qui compte quand la facture ne se limite pas au token.

Du côté robotique, MindOn a présenté Mind-1 le 30 septembre, un modèle d'IA physique qui, selon l'entreprise, réduit la latence d'inférence des robots de 82ms à 32ms.

L'entreprise note qu'à une vitesse de l'effecteur de 3 m/s, 10ms de latence correspondent à environ 3cm de déplacement, assez pour affecter une prise précise. C'est un autre marché que l'inférence en centre de données, mais la même contrainte : la latence et le coût dépendent de toute la chaîne, pas du seul modèle.

Les opérateurs télécoms poursuivent une logique voisine sur les coûts d'infrastructure. Light Reading a rapporté le 30 septembre que StarHub et M1 sont en discussions de fusion à Singapour, où ils partagent déjà le spectre 5G et le réseau d'accès radio via une société commune appelée Antina. En Nouvelle-Zélande, 2degrees et OneNZ ont proposé de mettre en commun leurs réseaux radio dans une entité détenue conjointement. L'article cite la part de 43% de Singtel sur le marché mobile singapourien en juin, contre 22% pour M1, 21% pour StarHub et 14% pour Simba, et indique qu'un ensemble StarHub-M1 serait d'une taille comparable à Singtel. L'accord 5G entre China Telecom et China Unicom est cité comme le plus grand de ce type, avec 1,5 million de stations de base couvertes et 56 milliards de dollars d'économies de capex revendiquées.

Toutes les tentatives de réduire les coûts en ajoutant de la mécanique ne fonctionnent pas. Un article publié le 30 septembre par Gokul Kogan décrit comment Pinecone a retiré un calculateur de prix à l'usage après un test A/B. Les visiteurs qui ne voyaient pas le calculateur étaient 16% plus nombreux à s'inscrire et 90% plus nombreux à contacter l'entreprise, sans hausse des tickets de support sur les prix, selon l'article. Dans un sondage interne, sept employés sur dix s'attendaient à ce que la version avec calculateur performe mieux. La leçon vaut pour quiconque construit un estimateur de coût pour un service facturé au token : une estimation fausse d'un ordre de grandeur peut faire perdre le client définitivement.

Mis bout à bout, le tableau est moins un prix unique en baisse qu'un ensemble de paris d'ingénierie. Quail parie sur le traitement par lots conscient de la requête. Magnitude parie sur la compilation des kernels par appareil. EnerTune parie sur le placement sensible à la puissance. OpenAI teste combien un petit nombre de gros utilisateurs paieront pour la vitesse, tandis que son forfait moins cher reçoit moins de calcul qu'avant. Le seul chiffre stable dans tout le dossier est la forme de la facture : les tokens de sortie coûtent plus que les entrées, les remises de cache et de batch sont importantes, et les chiffres vedettes de n'importe quel banc d'essai décrivent une requête, sur une machine, un jour donné.

Commentaires 0

Sources

10
  1. 01Jointly optimizing SQL queries and LLM inference for up to 14x speedupsEN
  2. 02Hitting 1B tokens/minute on 1 GPU combining a query planner and inference engineEN
  3. 03Launch HN: Magnitude (YC S25) - Self-optimizing inference engine for agentsEN
  4. 04ChatGPT's new plan costs $500 a monthEN
  5. 05AI API pricing index - September 2026EN
  6. 06Beyond Utilization: Energy-Conscious GPU Sharing for Inference ServingEN
  7. 07Mind-1: Cutting robot inference latency from 82ms to 32msEN
  8. 08Singapore, New Zealand operators seek partnerships to cut costsEN
  9. 09The pricing calculator made people more confused about pricingEN
  10. 10Driving An EV Now Costs Half As Much As Diesel, New Analysis ShowsEN

Tous les chiffres et citations de ce texte proviennent des sources citées ci-dessous.

Les contenus ont été préparés par l'équipe de rédaction, assistée par l'IA.

Sophie Leclerc

Sophie Leclerc

IA, modèles et technologies

Sophie Leclerc couvre les technologies, l'IA et les modèles ainsi que les médias et l'internet pour FLASH24, en travaillant à partir des dépôts de code, des articles scientifiques et des documents techniques plutôt que des annonces. Elle vérifie chaque chiffre en remontant aux jeux de données d'origine et en comparant les versions successives des modèles. Elle interroge régulièrement des ingénieurs et des chercheurs, et suit les calendriers de publication des principales conférences du secteur. Son intérêt personnel pour l'auto-hébergement et les réseaux domestiques nourrit directement sa couverture des infrastructures et des modèles ouverts. Elle ne publie pas de performance annoncée sans méthode de mesure vérifiable.

Rédaction →

Commentaires

0
  1. Aucun commentaire — soyez le premier.

Écrire un commentaire

Les commentaires sont publics. Nous ne publions ni insultes, ni spam, ni publicité.