Inferenza self-hosted, non i prezzi delle API: è qui che il divario di costi è più ampio
Un confronto del settembre 2026 su sette orchestratori per l'inferenza self-hosted ha rilevato che l'opzione più economica non offre alcun clustering, mentre gli strumenti che gestiscono più GPU portano avvertenze che i README dei fornitori non nascondono.

L'indagine, pubblicata da Nexlab il 20 settembre, mette a confronto LocalAI, exo, GPUStack, Xinference, Ollama, vLLM e CoderAI su ciò che interessa davvero a chi compra: supporto multi-macchina, routing consapevole della cache, burst verso il cloud e training. I conteggi delle stelle provengono dall'API di GitHub alla stessa data, e le celle sulle funzionalità dai README e dalla documentazione dei progetti stessi. Dove l'autore non ha potuto confermare qualcosa, la cella lo dice invece di tirare a indovinare.
La classifica non è quella che prevedrebbe una presentazione per gli acquisti. Ollama, con 181.000 stelle, è descritto come la risposta giusta per un portatile o un desktop singolo, e nulla di più: una macchina, un modello alla volta, senza alcuna storia di clustering oltre al round-robin di Open WebUI su più URL di Ollama. A chi ha bisogno di più viene detto di smettere di leggere a quel punto dell'articolo. llamafile di Mozilla sta nella stessa colonna, un singolo eseguibile per Linux, macOS, Windows e i BSD, per progetto su macchina singola.
I progetti che coprono davvero più hardware sono quelli più costosi da gestire. vLLM fa parallelismo tensoriale e di pipeline su Ray e prefix caching per istanza, ma non gestisce modelli, utenti né collocazione. llama.cpp, con 129.000 stelle, si estende tra le macchine con un rpc-server su ciascuna e un flag --rpc sull'host. Nessuno dei due è un orchestratore nel senso in cui lo intendono la maggior parte degli acquirenti. Sono ciò che LocalAI, GPUStack, Xinference e CoderAI eseguono sotto.
L'eccezione macOS e il vuoto su Linux
exo riceve l'endorsement più forte di tutto il pezzo. Scoperta zero-config, partizionamento ring, pipeline e tensoriale proporzionale alla memoria di ogni dispositivo, MLX sotto, e RDMA su Thunderbolt 5 sui Mac recenti. Il dato del fornitore è uno scaling di 3,2 volte su quattro dispositivi per il parallelismo tensoriale. Ma a settembre 2026 exo è solo CPU su Linux, con il supporto NVIDIA e AMD indicato come in sviluppo, e serve modelli linguistici, con la generazione di immagini dietro un feature flag. Il verdetto dell'indagine è netto: se il vostro hardware è Apple Silicon, niente altro si avvicina; se non lo è, exo non fa ancora per voi.
LocalAI è la più ampia delle opzioni general-purpose. Testo, immagini, video, audio, embedding e rerank, ogni backend un servizio gRPC nella propria immagine OCI, nessuna GPU richiesta, chart Helm, e da giugno 2026 una vera modalità distribuita. Un flag --p2p genera un token condiviso, le istanze si scoprono tra loro su libp2p ed EdgeVPN, le richieste si federano verso il nodo meno carico, e un router v3 basato su NATS tiene conto della VRAM e delle prefix cache. Le immagini dei backend sono firmate con cosign. Quello che non fa: affittare una GPU, dividere una richiesta non-LLM tra più macchine, o fare training. Il throughput grezzo sugli LLM resta indietro di qualche decina di punti percentuali rispetto a un motore dedicato, scrive l'autore, perché la generalità costa.
GPUStack e Xinference sono raggruppati come progetti supervisor-plus-workers con console web, entrambi sostenuti da aziende, ed entrambi quelli che l'autore vede installati come cluster in Asia. GPUStack, 5.700 stelle, è il più operativo: utenti e ruoli, chiavi API con metering, Prometheus e Grafana, recupero automatico dei modelli falliti, log dei worker Ray nell'interfaccia, e supporto per nove fornitori di acceleratori tra cui Ascend, Hygon e MThreads. Xinference, a 9.600 stelle, aggiunge una KV cache condivisa tra le repliche quando esegue vLLM come backend.
Sta davanti a un centinaio di provider e ai tuoi endpoint con chiavi, budget e tracciamento della spesa, e non esegue mai un modello.
Quella frase riguarda LiteLLM, che secondo l'indagine viene spesso scambiato per una soluzione di self-hosting. Non lo è. Instrada tra endpoint e verso i cloud, e non esegue pesi propri.
Le due voci con l'impostazione più produttiva non parlano principalmente di costi. NVIDIA Dynamo, 8.100 stelle, e llm-d, 4.600, fanno prefill e decode disaggregati con routing consapevole della KV cache, ed entrambi richiedono Kubernetes su hardware NVIDIA. SkyPilot e dstack, 10.600 e 2.300 stelle, schedulano i tuoi job tra i cluster e possono fare burst verso il cloud, che è un problema diverso dal servire un modello in modo efficiente. CoderAI, nuovo e senza stelle, è il progetto dell'autore stesso, dichiarato in apertura, e rivendica burst verso il cloud con budget per modello più LoRA distribuito, con immagini firmate con cosign su Linux CUDA e Vulkan.
Due progetti sono nominati solo per essere esclusi. L'ultimo commit di Petals è del 2024. Hugging Face TGI è stato archiviato a marzo 2026. L'indagine nota anche che il production-stack di vLLM è l'unica opzione Kubernetes nella tabella contrassegnata come pronta per la produzione tra i motori stessi, e che le immagini firmate sono rare: LocalAI e CoderAI usano cosign, e la maggior parte del settore no.
Per i team che valutano dove finiscono i soldi dell'inferenza, l'indagine non offre una tabella dei prezzi. Offre qualcosa di meno comodo: una mappa di quali orchestratori possono davvero usare una seconda GPU, quali no, e quali te lo diranno nella propria documentazione.
Fonti
1Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.
I contenuti sono stati preparati dalla redazione con il supporto dell'IA.
Commenti
0- Nessun commento — sii il primo.