Aller au contenu
Heure mondialeEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portail sur l'IA et la technologieactualités · analyses · entretiens · fond technique

Rechercher
EN DIRECT
›

L'inférence auto-hébergée, et non le prix des API, est là où l'écart de coût est le plus large

Une comparaison de sept orchestrateurs d'inférence auto-hébergée publiée en septembre 2026 montre que l'option la moins chère ne propose aucun clustering, tandis que les outils capables de répartir sur plusieurs GPU portent des réserves que les README de leurs éditeurs ne cachent pas.

IA & modèlesActualitéSophie LeclercPublié le: 27 septembre 20264 min de lectureSources 1
L'inférence auto-hébergée, et non le prix des API, est là où l'écart de coût est le plus large

L'étude, publiée par Nexlab le 20 septembre, aligne LocalAI, exo, GPUStack, Xinference, Ollama, vLLM et CoderAI sur ce qui intéresse réellement un acheteur : le support multi-machines, le routage tenant compte du cache, le débordement vers le cloud et l'entraînement. Les compteurs d'étoiles viennent de l'API GitHub à la même date, et les cases fonctionnalités des README et de la documentation des projets eux-mêmes. Là où l'auteur n'a pas pu confirmer un point, la case le dit au lieu de deviner.

Le classement n'est pas celui qu'annoncerait un dossier d'achat. Ollama, avec 181 000 étoiles, est présenté comme la bonne réponse pour un portable ou un seul poste de bureau, et rien de plus : une machine, un modèle à la fois, sans histoire de cluster au-delà du round-robin d'Open WebUI sur plusieurs URL Ollama. À qui a besoin de davantage, l'article conseille d'arrêter la lecture à cet endroit. llamafile de Mozilla figure dans la même colonne, un exécutable unique pour Linux, macOS, Windows et les BSD, une seule machine par conception.

Les projets qui couvrent vraiment plusieurs machines sont les plus chers à exploiter. vLLM fait du parallélisme tensoriel et de pipeline via Ray et du cache de préfixe par instance, mais ne gère ni les modèles, ni les utilisateurs, ni le placement. llama.cpp, à 129 000 étoiles, relie les machines avec un rpc-server sur chacune et un drapeau --rpc sur l'hôte. Ni l'un ni l'autre n'est un orchestrateur au sens où la plupart des acheteurs l'entendent. Ce sont eux que LocalAI, GPUStack, Xinference et CoderAI font tourner en dessous.

L'exception macOS et le manque sous Linux

exo reçoit la recommandation la plus nette de l'article. Découverte sans configuration, partitionnement ring, pipeline et tensoriel proportionnel à la mémoire de chaque appareil, MLX en dessous, et RDMA sur Thunderbolt 5 sur les Mac récents. Le chiffre de l'éditeur est un facteur 3,2 sur quatre appareils en parallélisme tensoriel. Mais en septembre 2026, exo est limité au CPU sous Linux, le support NVIDIA et AMD étant annoncé en développement, et il sert des modèles de langue, la génération d'images restant derrière un drapeau. Le verdict de l'étude est direct : si votre matériel est de l'Apple Silicon, rien d'autre n'approche ; sinon, exo n'est pas encore pour vous.

LocalAI est la plus large des options généralistes. Texte, image, vidéo, audio, embeddings et rerank, chaque backend étant un service gRPC dans sa propre image OCI, sans GPU obligatoire, des charts Helm, et depuis juin 2026 un vrai mode distribué. Un drapeau --p2p génère un jeton partagé, les instances se découvrent via libp2p et EdgeVPN, les requêtes sont fédérées vers le nœud le moins chargé, et un routeur v3 fondé sur NATS connaît la VRAM et les caches de préfixe. Les images des backends sont signées avec cosign. Ce qu'il ne fait pas : louer un GPU, répartir une requête non-LLM sur plusieurs machines, ou entraîner. Le débit brut en LLM reste en retrait de quelques dizaines de pour cent face à un moteur dédié, écrit l'auteur, parce que la généralité se paie.

GPUStack et Xinference sont regroupés parmi les architectures superviseur plus workers avec console web, tous deux adossés à des sociétés, et tous deux déployés en clusters en Asie selon l'auteur. GPUStack, 5 700 étoiles, est le plus opérationnel : utilisateurs et rôles, clés d'API avec mesure de consommation, Prometheus et Grafana, récupération automatique des modèles en échec, journaux des workers Ray dans l'interface, et support de neuf fabricants d'accélérateurs dont Ascend, Hygon et MThreads. Xinference, à 9 600 étoiles, ajoute un cache KV partagé entre réplicas lorsqu'il fait tourner vLLM en backend.

Il se place devant une centaine de fournisseurs et vos propres points de terminaison avec clés, budgets et suivi des dépenses, et n'exécute jamais de modèle.

Cette ligne concerne LiteLLM, que l'étude dit souvent pris pour une solution d'auto-hébergement. Ce n'en est pas une. Il route entre points de terminaison et vers des clouds, et n'exécute aucun poids lui-même.

Les deux entrées les plus orientées production ne portent pas d'abord sur le coût. NVIDIA Dynamo, 8 100 étoiles, et llm-d, 4 600, font du prefill et du decode désagrégés avec routage tenant compte du KV, et les deux exigent Kubernetes sur du matériel NVIDIA. SkyPilot et dstack, 10 600 et 2 300 étoiles, planifient vos tâches sur plusieurs clusters et peuvent déborder vers le cloud, ce qui est un autre problème que servir un modèle efficacement. CoderAI, nouveau et sans étoiles, est le projet de l'auteur, signalé d'emblée, et revendique un débordement cloud budgété par modèle ainsi que du LoRA distribué, avec des images signées cosign sous Linux CUDA et Vulkan.

Deux projets ne sont nommés que pour être écartés. Petals n'a pas reçu de commit depuis 2024. Hugging Face TGI a été archivé en mars 2026. L'étude note aussi que le production-stack de vLLM est la seule option Kubernetes du tableau marquée prête pour la production parmi les moteurs eux-mêmes, et que les images signées restent rares : LocalAI et CoderAI utilisent cosign, et l'essentiel du domaine ne le fait pas.

Pour les équipes qui se demandent où va l'argent de l'inférence, l'étude ne propose aucun tableau de prix. Elle propose quelque chose de moins confortable : une carte des orchestrateurs qui peuvent réellement utiliser un second GPU, de ceux qui ne le peuvent pas, et de ceux qui vous le diront dans leur propre documentation.

Commentaires 0

Sources

1
  1. 01Self-hosted inference orchestrators compared: LocalAI, exo, GPUStack, vLLMEN

Tous les chiffres et citations de ce texte proviennent des sources citées ci-dessous.

Les contenus ont été préparés par l'équipe de rédaction, assistée par l'IA.

Sophie Leclerc

Sophie Leclerc

IA, modèles et technologies

Sophie Leclerc couvre les technologies, l'IA et les modèles ainsi que les médias et l'internet pour FLASH24, en travaillant à partir des dépôts de code, des articles scientifiques et des documents techniques plutôt que des annonces. Elle vérifie chaque chiffre en remontant aux jeux de données d'origine et en comparant les versions successives des modèles. Elle interroge régulièrement des ingénieurs et des chercheurs, et suit les calendriers de publication des principales conférences du secteur. Son intérêt personnel pour l'auto-hébergement et les réseaux domestiques nourrit directement sa couverture des infrastructures et des modèles ouverts. Elle ne publie pas de performance annoncée sans méthode de mesure vérifiable.

Rédaction →

Commentaires

0
  1. Aucun commentaire — soyez le premier.

Écrire un commentaire

Les commentaires sont publics. Nous ne publions ni insultes, ni spam, ni publicité.