L'inférence auto-hébergée, et non le prix des API, est là où l'écart de coût est le plus large
Une comparaison de sept orchestrateurs d'inférence auto-hébergée publiée en septembre 2026 montre que l'option la moins chère ne propose aucun clustering, tandis que les outils capables de répartir sur plusieurs GPU portent des réserves que les README de leurs éditeurs ne cachent pas.

L'étude, publiée par Nexlab le 20 septembre, aligne LocalAI, exo, GPUStack, Xinference, Ollama, vLLM et CoderAI sur ce qui intéresse réellement un acheteur : le support multi-machines, le routage tenant compte du cache, le débordement vers le cloud et l'entraînement. Les compteurs d'étoiles viennent de l'API GitHub à la même date, et les cases fonctionnalités des README et de la documentation des projets eux-mêmes. Là où l'auteur n'a pas pu confirmer un point, la case le dit au lieu de deviner.
Le classement n'est pas celui qu'annoncerait un dossier d'achat. Ollama, avec 181 000 étoiles, est présenté comme la bonne réponse pour un portable ou un seul poste de bureau, et rien de plus : une machine, un modèle à la fois, sans histoire de cluster au-delà du round-robin d'Open WebUI sur plusieurs URL Ollama. À qui a besoin de davantage, l'article conseille d'arrêter la lecture à cet endroit. llamafile de Mozilla figure dans la même colonne, un exécutable unique pour Linux, macOS, Windows et les BSD, une seule machine par conception.
Les projets qui couvrent vraiment plusieurs machines sont les plus chers à exploiter. vLLM fait du parallélisme tensoriel et de pipeline via Ray et du cache de préfixe par instance, mais ne gère ni les modèles, ni les utilisateurs, ni le placement. llama.cpp, à 129 000 étoiles, relie les machines avec un rpc-server sur chacune et un drapeau --rpc sur l'hôte. Ni l'un ni l'autre n'est un orchestrateur au sens où la plupart des acheteurs l'entendent. Ce sont eux que LocalAI, GPUStack, Xinference et CoderAI font tourner en dessous.
L'exception macOS et le manque sous Linux
exo reçoit la recommandation la plus nette de l'article. Découverte sans configuration, partitionnement ring, pipeline et tensoriel proportionnel à la mémoire de chaque appareil, MLX en dessous, et RDMA sur Thunderbolt 5 sur les Mac récents. Le chiffre de l'éditeur est un facteur 3,2 sur quatre appareils en parallélisme tensoriel. Mais en septembre 2026, exo est limité au CPU sous Linux, le support NVIDIA et AMD étant annoncé en développement, et il sert des modèles de langue, la génération d'images restant derrière un drapeau. Le verdict de l'étude est direct : si votre matériel est de l'Apple Silicon, rien d'autre n'approche ; sinon, exo n'est pas encore pour vous.
LocalAI est la plus large des options généralistes. Texte, image, vidéo, audio, embeddings et rerank, chaque backend étant un service gRPC dans sa propre image OCI, sans GPU obligatoire, des charts Helm, et depuis juin 2026 un vrai mode distribué. Un drapeau --p2p génère un jeton partagé, les instances se découvrent via libp2p et EdgeVPN, les requêtes sont fédérées vers le nœud le moins chargé, et un routeur v3 fondé sur NATS connaît la VRAM et les caches de préfixe. Les images des backends sont signées avec cosign. Ce qu'il ne fait pas : louer un GPU, répartir une requête non-LLM sur plusieurs machines, ou entraîner. Le débit brut en LLM reste en retrait de quelques dizaines de pour cent face à un moteur dédié, écrit l'auteur, parce que la généralité se paie.
GPUStack et Xinference sont regroupés parmi les architectures superviseur plus workers avec console web, tous deux adossés à des sociétés, et tous deux déployés en clusters en Asie selon l'auteur. GPUStack, 5 700 étoiles, est le plus opérationnel : utilisateurs et rôles, clés d'API avec mesure de consommation, Prometheus et Grafana, récupération automatique des modèles en échec, journaux des workers Ray dans l'interface, et support de neuf fabricants d'accélérateurs dont Ascend, Hygon et MThreads. Xinference, à 9 600 étoiles, ajoute un cache KV partagé entre réplicas lorsqu'il fait tourner vLLM en backend.
Il se place devant une centaine de fournisseurs et vos propres points de terminaison avec clés, budgets et suivi des dépenses, et n'exécute jamais de modèle.
Cette ligne concerne LiteLLM, que l'étude dit souvent pris pour une solution d'auto-hébergement. Ce n'en est pas une. Il route entre points de terminaison et vers des clouds, et n'exécute aucun poids lui-même.
Les deux entrées les plus orientées production ne portent pas d'abord sur le coût. NVIDIA Dynamo, 8 100 étoiles, et llm-d, 4 600, font du prefill et du decode désagrégés avec routage tenant compte du KV, et les deux exigent Kubernetes sur du matériel NVIDIA. SkyPilot et dstack, 10 600 et 2 300 étoiles, planifient vos tâches sur plusieurs clusters et peuvent déborder vers le cloud, ce qui est un autre problème que servir un modèle efficacement. CoderAI, nouveau et sans étoiles, est le projet de l'auteur, signalé d'emblée, et revendique un débordement cloud budgété par modèle ainsi que du LoRA distribué, avec des images signées cosign sous Linux CUDA et Vulkan.
Deux projets ne sont nommés que pour être écartés. Petals n'a pas reçu de commit depuis 2024. Hugging Face TGI a été archivé en mars 2026. L'étude note aussi que le production-stack de vLLM est la seule option Kubernetes du tableau marquée prête pour la production parmi les moteurs eux-mêmes, et que les images signées restent rares : LocalAI et CoderAI utilisent cosign, et l'essentiel du domaine ne le fait pas.
Pour les équipes qui se demandent où va l'argent de l'inférence, l'étude ne propose aucun tableau de prix. Elle propose quelque chose de moins confortable : une carte des orchestrateurs qui peuvent réellement utiliser un second GPU, de ceux qui ne le peuvent pas, et de ceux qui vous le diront dans leur propre documentation.
Sources
1Tous les chiffres et citations de ce texte proviennent des sources citées ci-dessous.
Les contenus ont été préparés par l'équipe de rédaction, assistée par l'IA.
Commentaires
0- Aucun commentaire — soyez le premier.