Magnitude lance un moteur d'inférence auto-optimisé, jusqu'à 2 fois plus rapide que llama.cpp
Magnitude, une startup YC S25, a lancé le 30 septembre un moteur d'inférence open source qui, selon elle, compile et optimise ses kernels sur le matériel de l'utilisateur et fait tourner des modèles ouverts jusqu'à 2 fois plus vite que llama.cpp.

Le lancement est arrivé sur Hacker News le 30 septembre et, le lendemain matin, il avait récolté 169 points et 85 commentaires. Le discours de Magnitude est étroit et précis : au lieu de livrer des kernels précompilés pour de grandes familles de matériel, le moteur les compile et les ajuste sur la machine avant l'exécution d'un modèle. La société revendique un décodage 92 % plus rapide sur l'API Metal d'Apple Silicon et 19 % sur CUDA, d'après son dépôt GitHub.
Cette formulation compte pour quiconque paie des factures d'inférence, car la promesse de vitesse est aussi une promesse de coût. Moins de secondes par token sur son propre matériel, c'est de l'argent qui ne part pas vers une API hébergée.
Ce que dit réellement le dépôt
Magnitude se présente sous licence Apache 2.0, avec les prompts, les fichiers et les modèles qui restent sur la machine et aucune connexion internet nécessaire une fois un modèle téléchargé. Le tout arrive sous forme d'application de bureau qui embarque la CLI magnitude, donc pas d'étape d'installation séparée. Le matériel pris en charge est volontairement large : n'importe quel GPU Apple Silicon, NVIDIA ou AMD, ou un simple CPU. Le dépôt indique qu'il n'y a pas de minimum fixe, les petites machines faisant tourner de petits modèles.
Le projet liste des kernels optimisés à la main pour les familles de modèles ouverts les plus courantes et affirme 27 % de mémoire en moins par agent, libérée quand les agents s'arrêtent. Il indique aussi que les sessions simultanées partagent les caches de préfixe pour éviter les ralentissements. Un clic connecte Pi, OpenCode, Hermes, OpenClaw, Codex, Claude Code, Oh My Pi et Cline, le reste étant accessible via une API compatible OpenAI.
L'argument mémoire est le plus discret. Les frameworks d'agents consomment beaucoup de mémoire parce que chaque session garde son propre contexte ; si Magnitude libère vraiment cette mémoire à la fin d'une session, cela change le nombre d'agents qu'on peut faire tourner sur une seule machine.
Le problème de facturation qu'il ne résout pas
Exécuter en local supprime le coût des tokens, pas celui de la machine, de l'électricité ni de l'ingénieur qui la règle. Un outil de coûts indépendant publié le 23 septembre par le développeur Flavio Copes tente de rendre cette comparaison concrète. Son calculateur de coût d'inférence compare 27 modèles chez OpenAI, Anthropic, Google, xAI, Mistral, OpenRouter et Workers AI, et transforme les utilisateurs actifs quotidiens, les appels par utilisateur et le nombre de tokens en facture mensuelle.
Copes précise que les chiffres sont des estimations. Le calculateur, écrit-il, ignore les tarifs par lot, les remises entreprise, les surcoûts d'image ou d'outils et tout cache que vous auriez construit vous-même. Il signale aussi qu'un fournisseur ne publie aucune remise sur les entrées mises en cache, donc le taux de cache est ignoré pour lui. Tout tourne dans le navigateur.
Le coût dominant d'une application d'IA, ce sont les appels au LLM, et presque personne ne sait l'estimer.
C'est dans cet écart entre le prix d'un token et le prix d'une fonctionnalité que se jouent la plupart des discussions de planification.
Contexte, mémoire et le reste de la pile
Deux autres projets du même cycle Hacker News attaquent des parties voisines de la facture. FastRecall, publié le 28 septembre, se présente comme un OpenRouter de la mémoire, qui laisse le contexte passer d'un modèle et d'un fournisseur à l'autre. Il annonce 100 contextes de 500 messages chacun à partir de 7,00 $ par mois, avant les frais du fournisseur de modèle, et dit éviter la compaction de mémoire par LLM parce que ces techniques ajoutent de la latence, du coût et des erreurs de récupération.
Caspian, également publié le 28 septembre, s'attaque au côté construction. L'application de bureau transforme une idée tapée en plan, puis en projet vivant, et affirme associer chaque modification au bon modèle tout en affichant le coût, les tokens et le temps avant toute exécution. Son offre gratuite annonce jusqu'à cinq projets avec un badge.
Les trois pointent dans la même direction : le travail intéressant est passé de la qualité brute des modèles à la plomberie autour, là où le compteur tourne vraiment.
Là où les affirmations s'arrêtent
Aucun de ces chiffres ne s'accompagne d'une vérification indépendante. Le 2x en titre et les écarts de 92 % et 19 % sont les benchmarks de Magnitude face à llama.cpp, publiés par la société. Le chiffre de 7,00 $ pour FastRecall est une estimation de plateforme hors frais du fournisseur, et le 0,00 $ affiché pour 500 récupérations est une estimation, pas un devis. Copes dit franchement que son résultat est une estimation de planification, pas un devis fournisseur.
À traiter comme de l'arithmétique de fournisseur tant que personne ne l'a reproduite. Ce n'est pas un reproche aux projets ; c'est l'état normal du prix de l'inférence, où les tarifs publiés, les remises de cache et les hypothèses matérielles changent plus vite que le tableur de n'importe qui.
Sources
5- 01Launch HN: Magnitude (YC S25) – Self-optimizing inference engine for agentsEN
- 02Inference Cost CalculatorEN
- 03Show HN: HN.watch – Videos of all Hacker News postsEN
- 04Show HN: FastRecall, OpenRouter for MemoryEN
- 05Show HN: Caspian – Desktop app to build and launch small vibe-coded projectsEN
Tous les chiffres et citations de ce texte proviennent des sources citées ci-dessous.
Les contenus ont été préparés par l'équipe de rédaction, assistée par l'IA.
Commentaires
0- Aucun commentaire — soyez le premier.