Przejdź do treści
Czas na świecieEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal o AI i technologiiwydarzenia · analizy · wywiady · tło techniczne

Szukaj
NA ŻYWO
›

Ceny inferencji się rozwarstwiły: trafienia w cache, latencja mowy i self-hosting

Żądania DeepSeek V4 Flash ze 100 tys. tokenów wejściowych kosztują 14,9 razy mniej w stanie ciepłym niż zimnym w jednej kontrolowanej próbce, wynika z benchmarku opublikowanego przez inference.academy 7 września 2026 roku.

AI i modeleAnalizaMarta ZielińskaOpublikowano: 27 września 20265 min czytaniaŹródła 3
Ceny inferencji się rozwarstwiły: trafienia w cache, latencja mowy i self-hosting

Ten jeden stosunek, zmierzony na 14 trasach, pokazuje, co w tym roku stało się z cenami inferencji. O rachunku nie decyduje już stawka za milion tokenów. Stan cache, kształt żądania i to, który dostawca odpowie na wywołanie, zmieniają koszt o rząd wielkości.

Układ testu inference.academy był celowo wąski. Obejmował cele 1 tys., 10 tys. i 100 tys. tokenów wejściowych, każdy z budżetem 100 lub 1 tys. tokenów wyjściowych, temperaturą 0 i wyłączonym rozumowaniem. Żądania zimne miały unikalny prefiks, ciepłe powtarzały ten sam prompt. Autor nazwał te pomiary servingowymi, nie ocenami jakości wykonania zadania. Koszt to łączne opłaty za żądanie podzielone przez tokeny wejściowe i pomnożone przez 1 mln, wraz z opłatami za wyjście. Nie jest to więc cena wejściowa z cennika.

Udział cache to suma tokenów wejściowych z cache podzielona przez sumę tokenów wejściowych w tych udanych żądaniach, które raportowały oba. To udział tokenów, a nie odsetek żądań, które trafiły w cache. Sekwencja ciepła obejmuje swoje pierwsze żądanie.

Routing dodał drugą zmienną, której badanie nie potrafiło w pełni wyjaśnić. Przy 1 tys. tokenów wejściowych i 100 wyjściowych na zimnym cache OpenRouter zwrócił 20 nazw dostawców. Baidu wykonał 18 wywołań, Relace 14, a AkashML 13. To samo żądanie w stanie ciepłym zwróciło 14 nazw, na czele z Relace (24), CoreWeave (16) i DeepSeek (11). Raport zauważa, że powtórzony prompt może trafić do innego dostawcy, co zmienia zachowanie cache. Mówi też wprost, że sam rozkład nie wyjaśnia, dlaczego routing się zmienił.

Telnyx prowadził w medianie szybkości generowania w 12 z 12 warunków, według tego samego benchmarku. Najszybszy pierwszy token zależał od kształtu żądania. Model, który wygląda szybko na krótkim prompcie, może nie utrzymać tej pozycji na długim.

Modele mowy walczą o milisekundy, potem o cenę

Benchmarki latencji w mowie poszły podobną drogą. Nari Labs napisało 14 września 2026 roku, że według stanu na połowę września zajmuje pierwsze miejsce zarówno w benchmarku Coval dla rozpoznawania mowy, jak i dla syntezy. W STT jest pierwsze pod względem latencji i drugie pod względem współczynnika błędów słów, w TTS drugie pod względem latencji i pierwsze pod względem WER. Firma dodaje zastrzeżenie, które warto zachować: wyniki Coval mogą zmieniać się co 30 minut.

Jej endpoint Qwen3-ASR Fast jest pierwszy w czasie do finalnego segmentu przy p50 wynoszącym 44 ms, z WER 3,6%. Daje mu to drugie miejsce za Universal 3.5 Pro od AssemblyAI z wynikiem 3,5%. Nari podaje, że endpoint Fast w cenie 0,12 dolara za godzinę dzieli drugą najniższą stawkę wśród modeli o znanych publicznych cenach w katalogu Coval. Universal 3.5 Pro kosztuje 3,75 razy więcej, a Deepgram Nova 3 2,4 razy więcej. Endpoint Standard byłby najtańszy, po 0,06 dolara za godzinę.

Po stronie syntezy model Qwen3-TTS Fast od Nari jest drugi w czasie do pierwszego dźwięku przy p50 wynoszącym 63 ms i WER 3,8%, co firma uznaje za pierwsze miejsce pod względem jakości. Tylko vui od Fluxions ma niższą medianę TTFA, 49 ms, przy modelu z 300 mln parametrów wobec serwowanego przez Nari Qwen3-TTS z 1,7 mld parametrów.

W cenie 10 dolarów za 1 mln znaków endpoint Fast od Nari dzieli według firmy najniższą stawkę w katalogu Coval. ElevenLabs Eleven v3 Conversational kosztuje 5 razy więcej, a Cartesia Sonic 3.6 6,5 razy więcej.

Najostrzejsze porównanie w poście dotyczy endpointów serwujących te same wagi. Nari raportuje, że oficjalny endpoint Qwen3 TTS Flash Realtime ma WER 8,8% i medianę TTFA w setkach milisekund. Dedykowany endpoint Qwen3-TTS od Baseten notuje WER 6,0% i medianę TTFA w niskich setkach milisekund. Ten sam model, inny stos serwowania, inne liczby.

Self-hosting też ma cenę, i to w operacjach

Przegląd self-hostowanych orkiestratorów, który Nexlab opublikował 20 września 2026 roku, obejmuje LocalAI, exo, GPUStack, Xinference, Ollama, vLLM i CoderAI, a liczby gwiazdek na GitHubie pochodzą z API z tego dnia. Przydatna kolumna to nie gwiazdki, lecz to, co każde narzędzie robi na wielu maszynach.

  • Ollama ze 181 tys. gwiazdek obsługuje jedną maszynę i jeden model naraz, bez historii klastrowej poza rozkładaniem ruchu na kilka adresów Ollama.
  • vLLM z 92 tys. gwiazdek obsługuje równoległość tensorową i potokową przez Ray, ale nie zarządza modelami, użytkownikami ani rozmieszczeniem.
  • LocalAI z 49 tys. gwiazdek dodało w czerwcu 2026 roku tryb rozproszony z odkrywaniem przez libp2p i routerem świadomym VRAM i cache prefiksów; według przeglądu jego surowa przepustowość LLM ustępuje dedykowanemu silnikowi o jakieś dziesiątki procent.
  • exo z 47 tys. gwiazdek skaluje się na Apple Silicon z MLX i RDMA przez Thunderbolt 5, raportując 3,2 razy na czterech urządzeniach, ale we wrześniu 2026 roku działa na Linuksie tylko na CPU.
  • GPUStack z 5,7 tys. gwiazdek oferuje użytkowników, klucze, rozliczanie i Prometheusa oraz wsparcie dla dziewięciu dostawców akceleratorów.

LiteLLM z 59 tys. gwiazdek kieruje ruch między endpointami i chmurami, ale nie uruchamia żadnego modelu. Przegląd zauważa, że tę różnicę często się pomija.

We wszystkich trzech źródłach wzorzec jest ten sam: koszt przestał być jedną publikowaną stawką. Brama, która ignoruje stan cache, wystawi rachunek, którego cena z metki nie przewidywała. Podobnie endpoint mowy, który ignoruje ogon latencji, albo orkiestrator, który ignoruje wskaźniki awarii.

Żadne z tych źródeł nie rozstrzyga, jak trwałe są te różnice. Zniżki za cache zależą od routingu, routing zmienia się między wywołaniami, a pozycje w benchmarkach przesuwają się w ciągu godziny. Kupujący, którzy porównują dwóch dostawców po jednej liczbie, porównują nie to, co trzeba.

Komentarze 0

Źródła

3
  1. 01DeepSeek V4 Flash across 14 providers: cost, speed and cachingEN
  2. 02Show HN: Nari Qwen3-TTS and Qwen3-ASREN
  3. 03Self-hosted inference orchestrators compared: LocalAI, exo, GPUStack, vLLMEN

Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.

Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.

Marta Zielińska

Marta Zielińska

AI, modele i technologie

Marta Zielińska pisze o technologiach, AI i modelach oraz mediach i internecie, opierając się na dokumentacji, preprintach i danych z API, a nie na zapowiedziach producentów. Przy każdej publikacji sprawdza karty modeli, parametry treningowe i benchmarki, a liczby porównuje z niezależnymi testami i wynikami z repozytoriów. Rozmawia z badaczami i inżynierami, czeka na kolejne wydania modeli i zestawia ich działanie z wcześniejszymi wersjami. Prywatnie drukuje w 3D, naprawia stare komputery i sprawdza, jak modele uczą się na śmieciach z internetu. Nie publikuje wyników, których nie może odtworzyć na własnym sprzęcie.

Redakcja →

Komentarze

0
  1. Brak komentarzy — bądź pierwszy.

Dodaj komentarz

Komentarze są widoczne publicznie. Nie publikujemy wulgaryzmów, spamu i treści reklamowych.