Zum Inhalt
WeltzeitEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal über KI und Technologieereignisse · analysen · interviews · technischer hintergrund

Suche
LIVE
›

Selbst gehostete Inferenz, nicht API-Preise, zeigt die größte Kostenschere

Ein Vergleich von sieben Orchestrierern für selbst gehostete Inferenz aus dem September 2026 zeigt: Die günstigste Option bietet gar kein Clustering. Die Werkzeuge für mehrere GPUs bringen dagegen Einschränkungen mit, die ihre Anbieter in den READMEs nicht verbergen.

KI & ModelleNachrichtLena BrandtVeröffentlicht: 27. September 20264 Min. LesezeitQuellen 1
Selbst gehostete Inferenz, nicht API-Preise, zeigt die größte Kostenschere

Die Erhebung, am 20. September von Nexlab veröffentlicht, stellt LocalAI, exo, GPUStack, Xinference, Ollama, vLLM und CoderAI in den Punkten gegenüber, die einen Käufer wirklich interessieren: Unterstützung mehrerer Maschinen, cachebewusstes Routing, Cloud-Burst und Training. Die Sternzahlen stammen von der GitHub-API desselben Tages, die Funktionsangaben aus den READMEs und der Dokumentation der Projekte selbst. Wo der Autor etwas nicht bestätigen konnte, steht das in der Zelle, statt geraten zu werden.

Die Rangfolge entspricht nicht dem, was eine Beschaffungspräsentation erwarten ließe. Ollama mit 181.000 Sternen gilt als richtige Antwort für einen Laptop oder einen einzelnen Desktop und für nichts darüber hinaus: eine Maschine, ein Modell zur Zeit, kein Clusterbetrieb außer dem Round-Robin mehrerer Ollama-URLs über Open WebUI. Wer mehr braucht, soll an dieser Stelle im Artikel aufhören zu lesen. Mozillas llamafile steht in derselben Spalte, eine einzelne ausführbare Datei für Linux, macOS, Windows und die BSDs, konstruktionsbedingt für eine Maschine.

Die Projekte, die tatsächlich über mehrere Rechner reichen, sind im Betrieb die teuren. vLLM macht Tensor- und Pipeline-Parallelität über Ray und Prefix-Caching pro Instanz, verwaltet aber keine Modelle, Nutzer oder Platzierungen. llama.cpp mit 129.000 Sternen erreicht andere Rechner über einen rpc-Server auf jeder Maschine und ein --rpc-Flag auf dem Host. Beide sind keine Orchestrierer in dem Sinn, den die meisten Käufer meinen. Sie sind das, was LocalAI, GPUStack, Xinference und CoderAI darunter ausführen.

Die macOS-Ausnahme und die Lücke unter Linux

exo bekommt die stärkste Einzelempfehlung des Textes. Zero-Config-Erkennung, Ring-, Pipeline- und Tensor-Aufteilung proportional zum Speicher jedes Geräts, MLX darunter und RDMA über Thunderbolt 5 auf neueren Macs. Die Anbieterangabe lautet 3,2-fache Skalierung auf vier Geräten für Tensor-Parallelität. Doch Stand September 2026 läuft exo unter Linux nur auf der CPU, NVIDIA- und AMD-Unterstützung sind als in Entwicklung vermerkt, und es dient Sprachmodellen, Bildgenerierung steckt hinter einem Feature-Flag. Das Urteil der Erhebung ist deutlich: Wer Apple Silicon hat, findet nichts Vergleichbares; wer nicht, kann exo noch nicht gebrauchen.

LocalAI ist die breiteste der allgemeinen Optionen. Text, Bild, Video, Audio, Embeddings und Rerank, jedes Backend ein gRPC-Dienst im eigenen OCI-Image, keine GPU nötig, Helm-Charts und seit Juni 2026 ein echter verteilter Modus. Ein --p2p-Flag erzeugt ein gemeinsames Token, Instanzen finden sich über libp2p und EdgeVPN, Anfragen gehen an den am wenigsten belasteten Knoten, und ein NATS-basierter Router der dritten Generation kennt VRAM und Prefix-Caches. Backend-Images sind mit cosign signiert. Was es nicht tut: eine GPU mieten, eine Anfrage außerhalb von LLMs über Maschinen aufteilen oder trainieren. Der rohe LLM-Durchsatz bleibt laut Autor um einige zehn Prozent hinter einer spezialisierten Engine zurück, weil die Allgemeinheit ihren Preis hat.

GPUStack und Xinference stehen gemeinsam für Entwürfe aus Supervisor und Workern mit Weboberfläche, beide hinter Firmen, und beide das, was der Autor in Asien als Cluster im Einsatz sieht. GPUStack mit 5.700 Sternen ist das betriebsnähere Werkzeug: Nutzer und Rollen, API-Schlüssel mit Abrechnung, Prometheus und Grafana, automatische Wiederherstellung ausgefallener Modelle, Ray-Worker-Logs in der Oberfläche und Unterstützung für neun Beschleunigerhersteller einschließlich Ascend, Hygon und MThreads. Xinference mit 9.600 Sternen ergänzt einen gemeinsamen KV-Cache über Replikate, wenn vLLM im Backend läuft.

Es steht vor hundert Anbietern und den eigenen Endpunkten, mit Schlüsseln, Budgets und Ausgabenverfolgung, und führt selbst nie ein Modell aus.

Diese Zeile handelt von LiteLLM, das die Erhebung oft fälschlich für eine Selbsthosting-Lösung gehalten sieht. Das ist es nicht. Es leitet zwischen Endpunkten und in Clouds weiter und führt selbst keine Gewichte aus.

Die beiden Einträge mit der stärksten Ausrichtung auf Produktion drehen sich nicht in erster Linie um Kosten. NVIDIA Dynamo mit 8.100 Sternen und llm-d mit 4.600 Sternen trennen Prefill und Decode mit KV-bewusstem Routing, und beide verlangen Kubernetes auf NVIDIA-Hardware. SkyPilot und dstack mit 10.600 und 2.300 Sternen planen Ihre Jobs über Cluster hinweg und können in die Cloud ausweichen, was ein anderes Problem ist als das effiziente Ausliefern eines Modells. CoderAI, neu und ohne Sterne, ist das eigene Projekt des Autors, vorab offengelegt, und verspricht modellbezogenen Cloud-Burst im Budgetrahmen plus verteiltes LoRA, mit cosign-signierten Images unter Linux CUDA und Vulkan.

Zwei Projekte werden nur genannt, um ausgeschlossen zu werden. Petals erhielt den letzten Commit 2024. Hugging Face TGI wurde im März 2026 archiviert. Die Erhebung merkt außerdem an, dass vLLMs production-stack unter den Engines selbst die einzige Kubernetes-Option in der Tabelle ist, die als produktionsreif markiert ist, und dass signierte Images selten sind: LocalAI und CoderAI nutzen cosign, der größte Teil des Feldes nicht.

Für Teams, die abwägen, wohin das Geld für Inferenz fließt, bietet die Erhebung keine Preistabelle. Sie bietet etwas weniger Bequemes: eine Karte, welche Orchestrierer eine zweite GPU tatsächlich nutzen können, welche nicht und welche das in ihrer eigenen Dokumentation sagen.

Kommentare 0

Quellen

1
  1. 01Self-hosted inference orchestrators compared: LocalAI, exo, GPUStack, vLLMEN

Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.

Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.

Lena Brandt

Lena Brandt

KI, Modelle und Technik

Lena Brandt schreibt für FLASH24 über Technik, KI und Modelle sowie Medien und Internet und stützt sich dabei auf Herstellerangaben, Studien und öffentlich zugängliche Datensätze, statt Pressemitteilungen ungeprüft zu übernehmen. Bei Modellvergleichen kontrolliert sie Benchmark-Werte, Trainingsdaten und Versionsnummern und rechnet Angaben zu Rechenleistung und Kosten selbst nach. Sie spricht mit Entwicklern und Forschern, wartet auf angekündigte Updates und vergleicht Releases, bevor sie eine Einschätzung abgibt. Privat beschäftigt sie sich mit 3D-Druck, alten Rechnern und der Frage, wie Modelle aus Internetmüll lernen – Themen, die regelmäßig in ihre Texte einfließen. Sie publiziert keine Zahlen, deren Quelle sie nicht selbst überprüfen konnte.

Redaktion →

Kommentare

0
  1. Noch keine Kommentare — seien Sie der Erste.

Kommentar schreiben

Kommentare sind öffentlich sichtbar. Wir veröffentlichen keine Beleidigungen, Werbung oder Spam.