Przejdź do treści
Czas na świecieEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal o AI i technologiiwydarzenia · analizy · wywiady · tło techniczne

Szukaj
NA ŻYWO
›

Koszt inferencji: różnica tkwi w self-hostingu, nie w cennikach API

Wrześniowe porównanie z 2026 roku objęło siedem orkiestratorów inferencji do samodzielnego hostowania. Najtańsza opcja wcale nie obsługuje klastrów, a narzędzia rozłożone na wiele GPU mają zastrzeżenia, których README producentów nie ukrywają.

AI i modeleNewsMarta ZielińskaOpublikowano: 27 września 20264 min czytaniaŹródła 1
Koszt inferencji: różnica tkwi w self-hostingu, nie w cennikach API

Przegląd opublikowany przez Nexlab 20 września zestawia LocalAI, exo, GPUStack, Xinference, Ollama, vLLM i CoderAI pod kątem tego, co naprawdę liczy się przy zakupie: pracy na wielu maszynach, routingu z uwzględnieniem pamięci podręcznej, rozszerzania do chmury i trenowania. Liczby gwiazdek pochodzą z API GitHuba z tego samego dnia, a dane o funkcjach z README i dokumentacji samych projektów. Tam, gdzie autor nie mógł czegoś potwierdzić, komórka mówi o tym wprost, zamiast zgadywać.

Ranking nie wygląda tak, jak przewidywałby to dział zakupów. Ollama z 181 000 gwiazdek jest opisana jako właściwy wybór na laptopa albo jeden komputer stacjonarny i nic więcej: jedna maszyna, jeden model naraz, bez historii klastrowej poza przekazywaniem żądań przez Open WebUI na kilka adresów Ollama. Kto potrzebuje więcej, ten w tym miejscu artykułu ma przestać czytać. W tej samej kolumnie stoi llamafile od Mozilli, pojedynczy plik wykonywalny dla Linuksa, macOS, Windows i systemów BSD, z założenia na jedną maszynę.

Projekty, które faktycznie obejmują wiele urządzeń, są drogie w utrzymaniu. vLLM robi równoległość tensorową i potokową przez Ray oraz buforowanie prefiksów na instancję, ale nie zarządza modelami, użytkownikami ani rozmieszczeniem. llama.cpp ze 129 000 gwiazdek sięga na inne maszyny przez rpc-server na każdym hoście i flagę --rpc na maszynie głównej. Żaden z nich nie jest orkiestratorem w rozumieniu większości kupujących. To podłoże, na którym działają LocalAI, GPUStack, Xinference i CoderAI.

Wyjątek macOS i luka na Linuksie

exo dostaje w tekście najsilniejszą indywidualną rekomendację. Wykrywa urządzenia bez konfiguracji, dzieli model pierścieniowo, potokowo i tensorowo proporcjonalnie do pamięci każdego urządzenia, pod spodem ma MLX, a na nowszych Macach RDMA przez Thunderbolt 5. Liczba podana przez producenta to 3,2x skalowania na czterech urządzeniach przy równoległości tensorowej. We wrześniu 2026 exo działa jednak na Linuksie tylko na procesorze, wsparcie NVIDIA i AMD jest w trakcie prac, a obsługuje modele językowe, generowanie obrazów kryje się za flagą funkcji. Werdykt przeglądu jest krótki: jeśli masz Apple Silicon, nic innego się nie zbliża; jeśli nie masz, exo jeszcze nie jest dla ciebie.

LocalAI jest najszerszą z opcji ogólnego przeznaczenia. Tekst, obrazy, wideo, dźwięk, embeddingi i rerank, każdy backend to usługa gRPC we własnym obrazie OCI, GPU nie jest wymagane, do tego Helm charts, a od czerwca 2026 prawdziwy tryb rozproszony. Flaga --p2p generuje wspólny token, instancje odnajdują się przez libp2p i EdgeVPN, żądania trafiają do najmniej obciążonego węzła, a router v3 oparty na NATS zna stan VRAM i pamięci podręcznych prefiksów. Obrazy backendów są podpisywane przez cosign. Czego nie robi: nie wynajmuje GPU, nie dzieli żądania innego niż LLM między maszyny i nie trenuje. Przepustowość samych LLM jest o kilkadziesiąt procent niższa niż w dedykowanym silniku, pisze autor, bo ogólność kosztuje.

GPUStack i Xinference są zgrupowane jako rozwiązania typu nadzorca plus pracownicy z konsolami webowymi, oba za firmami, oba widziane przez autora jako klastry we wdrożeniach w Azji. GPUStack z 5 700 gwiazdek jest bardziej operacyjny: użytkownicy i role, klucze API z pomiarem zużycia, Prometheus i Grafana, automatyczne przywracanie modeli po awarii, logi pracowników Ray w interfejsie i wsparcie dziewięciu dostawców akceleratorów, w tym Ascend, Hygon i MThreads. Xinference z 9 600 gwiazdek dokłada współdzieloną pamięć podręczną KV między replikami, gdy na zapleczu działa vLLM.

Stoi przed setką dostawców i twoimi własnymi endpointami, z kluczami, budżetami i śledzeniem wydatków, a sam nigdy nie uruchamia modelu.

To zdanie dotyczy LiteLLM, który według przeglądu bywa mylony z rozwiązaniem do samodzielnego hostowania. Nim nie jest. Kieruje ruch między endpointami i do chmur, a samych wag nie uruchamia.

Dwie pozycje najmocniej osadzone w produkcji nie dotyczą przede wszystkim kosztu. NVIDIA Dynamo z 8 100 gwiazdek i llm-d z 4 600 robią rozdzielone prefill i decode z routingiem świadomym pamięci KV, a oba wymagają Kubernetesa na sprzęcie NVIDIA. SkyPilot i dstack, 10 600 i 2 300 gwiazdek, planują zadania na klastrach i potrafią rozszerzyć je do chmury, co jest innym problemem niż wydajne serwowanie modelu. CoderAI, nowy i bez gwiazdek, to projekt samego autora, ujawniony na wstępie, i obiecuje budżetowe rozszerzanie do chmury na model oraz rozproszone LoRA, z obrazami podpisywanymi przez cosign na Linuksie z CUDA i Vulkanem.

Dwa projekty wymieniono tylko po to, żeby je wykluczyć. Ostatni commit w Petals pochodzi z 2024. Hugging Face TGI zarchiwizowano w marcu 2026. Przegląd odnotowuje też, że production-stack od vLLM to jedyna opcja kubernetowa w tabeli oznaczona jako gotowa na produkcję wśród samych silników, a podpisane obrazy są rzadkością: cosign stosują LocalAI i CoderAI, reszta zestawienia nie.

Zespołom, które zastanawiają się, gdzie idą pieniądze na inferencję, przegląd nie daje tabeli cen. Daje coś mniej wygodnego: mapę tego, które orkiestratory naprawdę potrafią użyć drugiego GPU, które nie potrafią, a które powiedzą o tym we własnej dokumentacji.

Komentarze 0

Źródła

1
  1. 01Self-hosted inference orchestrators compared: LocalAI, exo, GPUStack, vLLMEN

Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.

Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.

Marta Zielińska

Marta Zielińska

AI, modele i technologie

Marta Zielińska pisze o technologiach, AI i modelach oraz mediach i internecie, opierając się na dokumentacji, preprintach i danych z API, a nie na zapowiedziach producentów. Przy każdej publikacji sprawdza karty modeli, parametry treningowe i benchmarki, a liczby porównuje z niezależnymi testami i wynikami z repozytoriów. Rozmawia z badaczami i inżynierami, czeka na kolejne wydania modeli i zestawia ich działanie z wcześniejszymi wersjami. Prywatnie drukuje w 3D, naprawia stare komputery i sprawdza, jak modele uczą się na śmieciach z internetu. Nie publikuje wyników, których nie może odtworzyć na własnym sprzęcie.

Redakcja →

Komentarze

0
  1. Brak komentarzy — bądź pierwszy.

Dodaj komentarz

Komentarze są widoczne publicznie. Nie publikujemy wulgaryzmów, spamu i treści reklamowych.