Nowe narzędzia do liczenia kosztów AI mierzą rachunki za inferencję, gdy dane o cenach GPU się namnażają

Najnowsze narzędzie, kalkulator kosztów inferencji opublikowany 23 września przez dewelopera Flavio Copesa, porównuje 27 modeli od OpenAI, Anthropic, Google, xAI, Mistral, OpenRouter i Workers AI. Rankuje każdy model przy tych samych założeniach, dzięki czemu zespoły mogą zobaczyć kompromis między niską ceną a wydajnością, a nie tylko listę cen. Zamienia założenia produktowe na miesięczny rachunek: dziennych aktywnych użytkowników, liczby wywołań LLM na użytkownika, tokenów wejściowych i wyjściowych na wywołanie oraz opcjonalnej skuteczności cache promptów. Wszystko działa w przeglądarce, a link do udostępniania koduje jedynie wejścia w adresie URL.

Te ramy są ważniejsze niż poszczególne liczby.

Własna dokumentacja kalkulatora twierdzi, że dane pochodzą z opublikowanych stawek API i ignorują ceny partii, zniżki korporacyjne, dopłaty za obrazy lub narzędzia oraz dowolną warstwę cache uruchamianą przez klienta. Nazywa wynik szacunkiem planistycznym, a nie wyceną od dostawcy. To niezwykło ostry zastrzeżenie dla narzędzia cenowego, które wskazuje na rzeczywisty stan tego rynku.

Dwa sposoby wyceniania tego samego GPU

W tym samym tygodniu pojawiła się druga kategoria narzędzi: trackery zamieniające godzinowe stawki GPU na koszt za milion tokenów. FitMyLLM odczytuje stawki na żywo z API każdego dostawcy, odświeżając je co trzy minuty i cachując na krawędzi przez dziesięć minut. Jego tabela obecnie wymienia 47 kart i 74 wyceny, z czego 19 jest zmierzonych, a nie szacowanych, i sortuje od najtańszego do najdroższego według kosztu za milion tokenów.

Wnioek jest kontrintuicyjny. Najtańszy wiersz w FitMyLLM to Vast.ai RTX 3090 za 0,13 dolara za godzinę, generujący 0,291 dolara za milion tokenów, oznaczony jako zmierzony. Najszybszy wiersz to RTX 5090 z prędkością 227 tokenów na sekundę, kosztujący 0,576 dolara za milion tokenów, również zmierzony. RTX 3090 na RunPod za opublikowane 0,22 dolara za godzinę wychodzi na 0,494 dolara za milion tokenów.

Karty serwerowe wypadają tu słabo, i to jest wniosek, a nie wada. H100 lub H200 zwraca swoją cenę, obsługując wiele strumieni naraz; przy jednym strumieniu ich ogromna przepustowość w dużej mierze stoi bezczynnie.

FitMyLLM wyraźnie zaznacza, że ten ranking się odwraca dla każdego, kto obsługuje tłum, a nie pojedynczego użytkownika, i że wiersze H100 i H200 są najmniej pewne. Ostrzega również, że ceny z rynków to oferta jednego hosta, a nie opublikowana stawka, oraz że hosty mogą uruchamiać kartę poniżej jej limitu mocy fabrycznej.

GPUAdvisor podejmuje odwrotne podejście, śledząc 13 dostawców chmurowych i 132 instancje na węzeł lub na GPU, pogrupowane według regionu i posortowane od najtańszych. Jego zrzut, ostatnio śledzony 28 września, pokazuje RTX A4000 16GB za 0,10 dolara za godzinę na GPU.ai jako najtańszą pozycję, oraz RTX 3090 24GB za 0,17 dolara za godzinę. Zauważa, że chmury specjalizujące się w GPU oferują o dwa do czterech razy niższe ceny za GPU niż hiperskalery, że GCP Spot oferuje do 70 procent zniżki na instancje A100 i H100, a że zobowiązania roczne oszczędzają od 35 do 40 procent. Zamyka to samo zastrzeżenie, którego używają wszyscy inni: zweryfikuj na stronach cenowych dostawcy przed zakupem.

Wykorzystanie, nie cena z etykiety

Krapton Engineering, które ostatnio zaktualizowało swój przewodnik 25 września, argumentuje, że decydującym wskaźnikiem jest nie stawka godzinowa ani cena tokena, ale wykorzystanie. H100 siedzący bezczynnie 60 procent dnia nadal generuje koszty, a jego efektywny koszt za inferencję rośnie w odpowiedzi. Firma opisuje współpracę z klientem z czatbotem konwersacyjnym AI, którego wykorzystanie GPU on-demand utrzymywało się na poziomie 30 do 40 procent w godzinach o niskim obciążeniu, nawet przy agresywnym autoskalowaniu. Przeniesienie przewidywalnego obciążenia bazowego na instancje zarezerwowane i dodanie planisty Kubernetes do współlokalizacji żądań inferencyjnych obniżyło ogólny rachunek za obliczenia o 30 procent.

Przykład liczbowy Krapton jest ilustracyjny, i sam to mówi. Modeluje średniej klasy GPU z prędkością 1 000 tokenów na sekundę dla modelu 7B parametrów, ilustracyjny koszt zarezerwowany 0,75 dolara za godzinę po 50-procentowej zniżce oraz 0,25 dolara za godzinę kosztów operacyjnych, których nie uwzględnia w koszcie API. Podkreśla, że rzeczywiste ceny od AWS, GCP lub Azure różnią się i należy je zweryfikować. Ta liczba to kształt, a nie wycena.

aicost.ai ramuje ten sam problem jako trójstronny wybór, a nie binarny: płacenie za token u hosta serwerless, wynajem dedykowanego GPU za godzinę lub uruchamianie na własnym koncie w chmurze. Jego kalkulator domyślnie przyjmuje 2 500 tokenów wyjściowych na sekundę i 45-procentowe wykorzystanie, z presetami 20 procent dla niskiego realnego obciążenia i 70 procent dla dobrze partii. Wynikająca stąd wytyczna jest warunkowa. Serwerless wygrywa przy niskim lub porywczym wolumenie i tanich modelach za token. Wynajem dedykowany wygrywa przy stabilnym, wysokim wolumenie z drogimi modelami za token. Samo-hosting wygrywa przy bardzo wysokim, stabilnym wolumenie z cenami zarezerwowanymi lub spot, zakładając, że już prowadzisz infrastrukturę. Punkt przecięcia, jak twierdzą, to mieszana cena za token razy wolumen w stosunku do dolarów GPU za godzinę razy wielkość floty.

Czego trackery przyznają, że pomijają

Każde z tych narzędzi publikuje swoje ograniczenia, co jest warte więcej niż tabele. aicost.ai stwierdza, że wszystkie trzy nogi GPU zakładają pełne wykorzystanie przy podanej przepustowości i wykluczają nakłady na konfigurację, operacje, sieć i niezawodność. Przepustowość zmienia się w zależności od modelu, sprzętu, rozmiaru partii i kształtu promptu, więc jest to edytowalne wejście, a nie stała. Ceny zarezerwowane i spot zakładają, że faktycznie można utrzymać lub odzyskać pojemność, a spot może być przerwany.

FitMyLLM zauważa, że obsługa partiami jest tańsza za token, i że bezczynna karta nadal generuje koszty. Ujawnia również, że linki do dostawców mogą zawierać kod referencyjny, jednocześnie stwierdzając, że kod nie zmienia tego, co jest wymienione, ani sposobu sortowania tabeli. GPUAdvisor mówi, że jego ceny są przybliżone, różnią się w zależności od regionu i dostępności oraz odzwierciedlają szacunki na wrzesień 2026 roku.

Praktyczny wnioek jest wąski. 28 września najtańsza opublikowana pozycja on-demand w trackerze GPUAdvisor wynosiła 0,10 dolara za godzinę, a najniższy zmierzony koszt za milion tokenów w tabeli FitMyLLM wynosił 0,291 dolara. Oba te liczby to wejścia planistyczne, a nie zobowiązania, i obie zmieniają się wraz z założeniami obciążenia, które zespół wprowadza.

Narzędzia różnią się też akcentem. FitMyLLM rankuje karty konsumenckie przed serwerowymi dla obsługi pojedynczego strumienia i nazywa to wnioskiem. Krapton traktuje pojemność zarezerwowaną jako środek dla przewidywalnych, ciągłych obciążeń. aicost.ai traktuje własną chmurę jako najtańszą tylko przy zobowiązaniu zarezerwowanym lub spot i wysokim wykorzystaniu. Nie średnią do jednej odpowiedzi, bo jej nie ma.

Czym nowe jest to, że założenia są teraz odsłonięte. Rok temu stawka godzinowa była jedyną publiczną liczbą, a konwersja na koszt za token odbywała się w arkuszu kalkulacyjnym, którego nikt nie udostępniał. Od tego tygodnia trzy osobne narzędzia publikują swoje liczby przepustowości, domyślne wartości wykorzystania i zakres błędu, a czwarte publikuje datę szacunku. To nie czyni liczb poprawnymi. Czyni je spornymi, co jest warunkiem wstępnym do planowania budżetu na ich podstawie.