Przejdź do treści
Czas na świecieEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal o AI i technologiiwydarzenia · analizy · wywiady · tło techniczne

Szukaj
NA ŻYWO
›

Przybywa narzędzi do liczenia kosztów inferencji, ceny GPU wciąż niejawne

Kalkulator przeglądarkowy opublikowany 23 września porównuje koszty inferencji dla 27 modeli. Jego autor ostrzega, że wynik to szacunek na potrzeby planowania, a nie oferta dostawcy. Kilka dni później osobny benchmark pokazał koszt godziny pracy jednego modelu w tym samym świetle.

AI i modeleAnalizaMarta ZielińskaOpublikowano: 28 września 20263 min czytaniaŹródła 5
Przybywa narzędzi do liczenia kosztów inferencji, ceny GPU wciąż niejawne

Najnowszy głos w sporze o koszty inferencji to nie komunikat cenowy. To kalkulator. Flavio Copes opublikował 23 września Inference Cost Calculator. Narzędzie szereguje 27 modeli od OpenAI, Anthropic, Google, xAI, Mistral, OpenRouter i Workers AI na tych samych założeniach.

Ustawiasz dzienną liczbę aktywnych użytkowników, liczbę wywołań na użytkownika, tokeny wejściowe i wyjściowe na wywołanie oraz opcjonalny współczynnik trafień w cache promptu. Narzędzie zwraca miesięczny rachunek. Ostrzega też, że kwoty pochodzą z publikowanych stawek API. Pomijają ceny batchowe, rabaty dla przedsiębiorstw, dopłaty za obrazy lub narzędzia oraz każdą warstwę cache, którą zbudujesz sam.

To zastrzeżenie waży więcej niż sam ranking.

Benchmark, który wycenia godzinę myślenia

26 września StarSkirmish opublikował innego rodzaju porównanie kosztów. W benchmarku każdy LLM dostaje godzinę na napisanie bota Protoss w C++ do StarCraft: Brood War. Potem boty grają ze sobą i z przeciwnikami pisanymi przez ludzi. W stawce jest 50 botów LLM z 10 modeli, do tego 3 boty demonstracyjne i 9 konkursowych botów ludzkich, łącznie 62 uczestników, uruchamianych na sandboxach Prime Intellect.

GPT-6 Astra i Claude Opus 5.5 są funkcjonalnie na równi na szczycie, według opisu samego projektu. GPT-6 Sol stoi wyraźnie o krok nad resztą obok nich. Benchmark zestawia też wynik z przeciętnym kosztem API jednego godzinnego przebiegu w skali logarytmicznej. W tym porównaniu, twierdzą autorzy, GPT-6 Sol oferuje wyjątkowo dobrą relację ceny do możliwości.

To ujęcie kosztu na jednostkę możliwości, a nie kosztu na token. Ma też granicę. Autorzy przyznają, że najnowsze modele rozumowania korzystają obecnie znacząco z okresów rozumowania dłuższych niż godzina. Wersje z dłuższym czasem pracy są planowane.

Dlaczego publicznym liczbom trudno ufać

Żadne z tych źródeł nie podaje ceny GPU. Po nią trzeba sięgnąć do przeglądu opublikowanego 20 września przez Nexlab. Zestawia on orkiestratory do samodzielnego hostowania, w tym LocalAI, exo, GPUStack, vLLM, Ollama, Xinference i CoderAI. Liczby gwiazdek pochodzą z API GitHuba z 20 września. Autor mówi wprost, że tam, gdzie nie dało się potwierdzić funkcji, tabela tak pisze, zamiast zgadywać.

Przydatne rozróżnienia w tym przeglądzie wcale nie dotyczą ceny. Oddziela on, czy jeden model może rozciągnąć się na więcej niż jedną maszynę. Pyta, czy kolejna tura trafia tam, gdzie już leży jej cache KV lub prefiksu. Sprawdza też, czy serwer potrafi sam wynająć GPU. vLLM, z 92 000 gwiazdek w tym zapisie, obsługuje równoległość tensorową i potokową przez Ray oraz cache prefiksów na instancję. Ollama, z 181 000 gwiazdek, obsługuje jedną maszynę i jeden model naraz. Nie ma historii klastrowej poza rozdzielaniem ruchu na kilka adresów URL za Open WebUI.

Pieniądze leżą w sprzęcie, nie w oprogramowaniu. Rynek PV w Brazylii to nie historia o AI, ale pv magazine poinformował 26 września, że średnie ceny systemów PV w tym kraju wzrosły o 7% między styczniem a czerwcem 2026 roku dla instalacji do 300 kW, według badania Distributed Energy Solutions firmy Greener. Koszty zestawów do systemów 4 kW wzrosły o 18,3%, z BRL 1,42/W do BRL 1,68/W.

Inny towar, ten sam problem: liczba na pierwszej stronie zmienia się, bo zmieniają się komponenty.

Co mówią badania o stronie wyjścia

Jeszcze jeden element obrazu kosztów leży po stronie popytu. Praca przesłana do arXiv 14 września i poprawiona 17 września, SlopShape, opisuje narzędzie o 214 cechach. Wykrywa ono komercyjne treści webowe generowane przez AI wyłącznie po sygnaturach strukturalnych. LLM zastosował je i zweryfikował względem adnotacji ludzkich. Osiągnął 98,0 macro-F1 na firmach spoza zbioru treningowego i 98,1, gdy każdy wpis AI został przeformułowany przez własny model. Autorem jest Jochen Madler z Sitefire.

Tańsza inferencja produkuje więcej tekstu. Wykrywanie tego tekstu jest teraz mierzalnym zadaniem o publikowanej dokładności, a to osobny rodzaj kosztu infrastruktury.

Żadne z tych źródeł nie zgadza się co do tego, ile inferencja powinna kosztować, bo żadne nie mierzy tego samego. Kalkulator mierzy hipotetyczny rachunek. Benchmark mierzy możliwości na godzinę wydatku na API. Przegląd orkiestratorów mierzy funkcje, nie faktury. Każdą pojedynczą liczbę traktuj jako punkt wyjścia do założeń.

Komentarze 0

Źródła

5
  1. 01Inference Cost CalculatorEN
  2. 02StarSkirmish BenchEN
  3. 03Self-hosted inference orchestrators compared: LocalAI, exo, GPUStack, vLLMEN
  4. 04PV system costs increase by 7% in Brazil in H1EN
  5. 05SlopShape: Identifying AI-Generated Commercial Web ContentEN

Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.

Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.

Marta Zielińska

Marta Zielińska

AI, modele i technologie

Marta Zielińska pisze o technologiach, AI i modelach oraz mediach i internecie, opierając się na dokumentacji, preprintach i danych z API, a nie na zapowiedziach producentów. Przy każdej publikacji sprawdza karty modeli, parametry treningowe i benchmarki, a liczby porównuje z niezależnymi testami i wynikami z repozytoriów. Rozmawia z badaczami i inżynierami, czeka na kolejne wydania modeli i zestawia ich działanie z wcześniejszymi wersjami. Prywatnie drukuje w 3D, naprawia stare komputery i sprawdza, jak modele uczą się na śmieciach z internetu. Nie publikuje wyników, których nie może odtworzyć na własnym sprzęcie.

Redakcja →

Komentarze

0
  1. Brak komentarzy — bądź pierwszy.

Dodaj komentarz

Komentarze są widoczne publicznie. Nie publikujemy wulgaryzmów, spamu i treści reklamowych.