Aller au contenu
Heure mondialeEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portail sur l'IA et la technologieactualités · analyses · entretiens · fond technique

Rechercher
EN DIRECT
›

Le coût de l'inférence passe au centre de la pile IA avec l'arrivée de nouveaux moteurs

Magnitude, une startup Y Combinator S25, a publié son moteur d'inférence open source sur GitHub le 30 septembre. L'entreprise affirme que les modèles ouverts y tournent jusqu'à 2 fois plus vite que sur llama.cpp avec le même matériel.

IA & modèlesAnalyseSophie LeclercPublié le: 30 septembre 20267 min de lectureSources 9
Le coût de l'inférence passe au centre de la pile IA avec l'arrivée de nouveaux moteurs

Magnitude a publié son dépôt le 30 septembre à 17:37 UTC, selon la page GitHub. La proposition est étroite et précise : un moteur d'inférence pour agents qui compile et ajuste les kernels sur la machine où il s'exécute. L'entreprise affirme que cela produit des performances jusqu'à 2 fois supérieures à llama.cpp, avec un décodage 92 % plus rapide sur le backend Metal d'Apple et 19 % sur CUDA.

C'est un benchmark de fournisseur. Personne en dehors de Magnitude ne l'a encore reproduit. Le dépôt ne précise pas les modèles, les longueurs de prompt ni les tailles de lot derrière ces chiffres. À traiter comme un chiffre marketing tant que personne d'indépendant ne l'a exécuté.

Ce qui compte davantage, c'est la cible de l'entreprise. Magnitude dit livrer une application de bureau qui se connecte aux agents que les gens utilisent déjà, citant Pi, OpenCode, Hermes, OpenClaw, Codex, Claude Code, Oh My Pi et Cline. Tout le reste passe par une API compatible OpenAI. Le moteur tourne sur Apple Silicon, sur GPU NVIDIA ou AMD, ou sur un simple CPU, selon le dépôt. Magnitude revendique aussi 27 % de mémoire en moins par agent, libérée quand les agents s'arrêtent, et indique que les sessions partagent des caches de préfixe pour éviter les ralentissements en concurrence.

La même semaine, une autre couche de la pile

Deux heures plus tard, le 30 septembre, une deuxième publication est arrivée. Full Stack Data Lab a mis en ligne un article sur Quail, une couche d'inférence adaptée aux requêtes construite avec Modal, et Modal a publié son propre texte à 17:38 UTC le même jour. Quail s'attaque à l'AI-SQL, cette pratique qui consiste à appeler des modèles de langage ligne par ligne depuis des requêtes SQL.

Les chiffres sont grands et le constat direct. Full Stack Data Lab explique qu'une seule requête peut générer des centaines de milliers ou des millions d'appels au modèle, parce qu'une fonction IA évalue un prompt par ligne, et qu'une jointure naïve évalue un prompt par paire de lignes. Sur une requête de référence appelée BIO-4, qui joint 5 000 rapports médicaux à 4 144 termes de réaction, le laboratoire détaille le coût d'envoyer ces appels à un moteur généraliste comme vLLM sous forme de requêtes séparées.

Le texte de Modal donne le résultat : Quail traite plus d'un milliard de tokens par minute par GPU H100 sur une requête à jointures multiples, plus de 10 fois plus vite que sa base de comparaison vLLM sur le même matériel, à moins de 6 cents par milliard de tokens sur Modal. Sur un benchmark nouvellement publié, Modal indique que Quail tourne 1,84 fois plus vite que vLLM, en moyenne géométrique sur les tâches. Modal précise que l'ensemble comprend deux requêtes conçues pour montrer où l'inférence AI-SQL doit encore progresser.

Je le vois comme un point sur la courbe de Pareto des LLM, dans un régime où une forte demande latente s'est révélée (pas de réflexion, un seul token, intelligence acceptable à faible latence) et qui a été sous-investi à cause de la course vers plus d'intelligence. Karpathy-san, à propos de Jev

Cette citation figure dans le texte de Modal, attribuée à Karpathy, qui commente le modèle Jev de TypeSafe AI. Elle mérite une lecture attentive. L'argument est qu'une grande partie de la demande d'inférence se situe du côté bon marché et à faible latence, et qu'elle a été mal servie parce que les laboratoires ont couru après la capacité de pointe. Magnitude et Quail misent tous deux sur cet écart.

Aucun des deux textes n'a été évalué par des pairs. Ce sont des blogs d'entreprise accompagnant des publications de code, et les bases de comparaison, l'une contre llama.cpp, l'autre contre vLLM, sont choisies par les auteurs. La direction est cohérente, mais les ordres de grandeur ne doivent pas être tenus pour acquis.

Ce que disent l'électricité et la liste de prix

Des travaux universitaires publiés cette semaine pointent un problème connexe que des tokens plus rapides ne règlent pas seuls. Un article présenté à SOSP '26, daté du 28 septembre et répertorié dans les actes de l'ACM, soutient qu'optimiser des clusters GPU uniquement pour le taux d'utilisation peut augmenter la consommation d'énergie. Les auteurs, Prasoon Sinha, Dimitrios Liakopoulos, Nathan Lemma et Neeraja J. Yadwadkar, décrivent un système appelé EnerTune qui modélise analytiquement les performances et la puissance par modèle au lieu de profiler chaque configuration, puis répartit les modèles sur des GPU partagés en conséquence. Ils rapportent une réduction de la consommation d'énergie de 1,4 à 2,3 fois et de la puissance appelée de 1,3 à 2,6 fois par rapport aux meilleures bases existantes, tout en atteignant les objectifs de performance.

Il y a aussi le côté prix catalogue. AICostBudget a publié son indice tarifaire de septembre le 30 septembre, un instantané figé à la date limite du 2026-09-30 UTC, couvrant 81 relevés de prix publics chez 11 fournisseurs. Le prix d'entrée médian sur 69 relevés est de 1,32 $ par million de tokens et le prix de sortie médian de 6 $ par million, soit un rapport de 5,0 fois. C'est généralement la sortie, pas l'ingestion du prompt, qui pèse le plus lourd.

Cet indice contredit aussi un raccourci courant dans les discussions sur les coûts. Sur 58 relevés comparables d'entrées mises en cache, la remise médiane est de 90 %. Sur 44 relevés de tarification par lots, la remise médiane est de 50 %. Toute comparaison de charges de travail qui ignore le cache et la tarification par lots décrit une facture que la plupart des clients ne verront jamais, et l'indice le dit clairement. Côté fournisseurs, ses médianes vont de Mistral AI à 0,20 $ en entrée et 0,60 $ en sortie par million de tokens sur 7 relevés, et DeepSeek à 0,30 $ et 1,20 $ sur 3, jusqu'à Anthropic à 5 $ et 25 $ sur 13 relevés et OpenAI à 2 $ et 11 $ sur 18. Ce sont des médianes de prix catalogue publics, pas des prix effectifs après remises, et les populations diffèrent en taille : ce n'est donc pas un classement des modèles à périmètre comparable.

La vitesse n'est qu'un des coûts

Hors du centre de données, la latence a un coût physique mesurable. MindOn a présenté son modèle d'IA physique Mind-1 le 30 septembre, affirmant réduire la latence d'inférence des robots de 82 ms à 32 ms et rapprocher les tâches de manipulation des temps de cycle humains. L'explication de l'entreprise sur l'importance de ce point est la partie utile : à une vitesse de 3 mètres par seconde en bout d'effecteur, 10 ms de latence correspondent à environ 3 cm de déplacement, de quoi affecter une saisie ou une insertion précise. MindOn soulève aussi un problème de données, en notant qu'une grande partie des données de manipulation robotique provient de la téléopération, plus lente que le mouvement humain naturel, si bien que les modèles apprennent un tempo plus lent en même temps que la tâche.

Il y a une histoire de coût pour le consommateur dans la même fenêtre. CleanTechnica a rapporté le 29 septembre qu'une analyse de Transport & Environment situe le coût d'usage d'un véhicule électrique à moins de la moitié de celui d'un diesel par kilomètre en Europe, sur la base d'une consommation moyenne de 6,9 litres aux 100 km pour le diesel et de 20,2 kWh aux 100 km pour l'électrique à batterie, avec l'électricité à 0,343 € le kWh. Antony Froggatt, de T&E, déclare dans l'article que les conducteurs de diesel paient 32 € de plus par plein qu'au début de l'année et avertit d'un risque d'approvisionnement si les États-Unis bloquent les exportations de diesel. T&E précise que son estimation de recharge est probablement une borne haute.

Et la page de tarifs elle-même peut être un coût. Un témoignage publié le 30 septembre par Gokhan Kogan, sur son passage chez Pinecone, rapporte qu'un calculateur d'usage sur la page de tarifs produisait des estimations surestimées jusqu'à 1 000 fois après une seule saisie mal interprétée. Dans un test A/B, écrit-il, les visiteurs qui ne voyaient pas le calculateur étaient 16 % plus susceptibles de s'inscrire et 90 % plus susceptibles de contacter l'entreprise, sans hausse des tickets d'assistance sur la tarification. Il note aussi que 7 employés sur 10 interrogés en interne s'attendaient à ce que la version avec calculateur fasse mieux. C'est l'expérience d'une entreprise, pas une loi générale, mais cela rappelle que le coût perçu et le coût réel divergent facilement.

L'économie des capacités bouge aussi au niveau du réseau. Light Reading a rapporté le 30 septembre que StarHub et M1 sont en discussions de fusion à Singapour, où ils partagent déjà le spectre 5G et le réseau d'accès radio via une société commune appelée Antina. Singtel détenait 43 % du marché mobile en juin, avec M1 à 22 %, StarHub à 21 % et Simba à 14 %, selon l'article. En Nouvelle-Zélande, 2degrees et OneNZ ont proposé de combiner leurs réseaux radio, avec une décision de la Commerce Commission attendue l'an prochain.

Le fil conducteur n'est pas que l'inférence va devenir gratuite. C'est que les optimisations qui arrivent cette semaine visent des goulots précis : la vitesse de décodage des agents sur du matériel grand public, les appels SQL ligne par ligne, la puissance des GPU au repos. Chacune arrive avec son propre benchmark et son propre fournisseur. L'indice tarifaire suggère que les prix catalogue eux-mêmes n'ont pas beaucoup bougé. Les économies se vendent au niveau du moteur, et les acheteurs devront les tester sur leurs propres charges de travail.

Commentaires 0

Sources

9
  1. 01Launch HN: Magnitude (YC S25) – Self-optimizing inference engine for agentsEN
  2. 02Jointly optimizing SQL queries and LLM inference for up to 14x speedupsEN
  3. 03Hitting 1B tokens/minute on 1 GPU combining a query planner and inference engineEN
  4. 04AI API pricing index - September 2026EN
  5. 05Mind-1: Cutting robot inference latency from 82ms to 32msEN
  6. 06The pricing calculator made people more confused about pricingEN
  7. 07Driving An EV Now Costs Half As Much As Diesel, New Analysis ShowsEN
  8. 08Beyond Utilization: Energy-Conscious GPU Sharing for Inference ServingEN
  9. 09Singapore, New Zealand operators seek partnerships to cut costsEN

Tous les chiffres et citations de ce texte proviennent des sources citées ci-dessous.

Les contenus ont été préparés par l'équipe de rédaction, assistée par l'IA.

Sophie Leclerc

Sophie Leclerc

IA, modèles et technologies

Sophie Leclerc couvre les technologies, l'IA et les modèles ainsi que les médias et l'internet pour FLASH24, en travaillant à partir des dépôts de code, des articles scientifiques et des documents techniques plutôt que des annonces. Elle vérifie chaque chiffre en remontant aux jeux de données d'origine et en comparant les versions successives des modèles. Elle interroge régulièrement des ingénieurs et des chercheurs, et suit les calendriers de publication des principales conférences du secteur. Son intérêt personnel pour l'auto-hébergement et les réseaux domestiques nourrit directement sa couverture des infrastructures et des modèles ouverts. Elle ne publie pas de performance annoncée sans méthode de mesure vérifiable.

Rédaction →

Commentaires

0
  1. Aucun commentaire — soyez le premier.

Écrire un commentaire

Les commentaires sont publics. Nous ne publions ni insultes, ni spam, ni publicité.