Przejdź do treści
Czas na świecieEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal o AI i technologiiwydarzenia · analizy · wywiady · tło techniczne

Szukaj
NA ŻYWO
›

Koszty inferencji dzielą się na dwa: taniej za token, drożej za GPU

Magnitude, start-up z akceleratora Y Combinator S25, opublikował 30 września otwarty silnik inferencji. Według firmy uruchamia on otwarte modele do 2 razy szybciej niż llama.cpp na Apple Silicon, NVIDIA, AMD albo zwykłym procesorze, bez opłat za token. Tego samego dnia indeks cen obejmujący 81 publicznych cenników wskazał medianę ceny wyjścia na poziomie 6 dolarów za 1M tokenów wobec 1,32 dolara za wejście.

AI i modeleWyjaśnienieAnna KaczmarekOpublikowano: 30 września 20266 min czytaniaŹródła 10
Koszty inferencji dzielą się na dwa: taniej za token, drożej za GPU

Repozytorium Magnitude pojawiło się 30 września. Założenie jest proste: silnik kompiluje i dostraja swoje jądra na urządzeniu użytkownika przed uruchomieniem modelu, zamiast dostarczać wstępnie skompilowane binaria dla szerokich klas sprzętu. Firma podaje 92% szybsze dekodowanie na Metal i 19% na CUDA w porównaniu z llama.cpp, a także 27% mniej pamięci na agenta, zwalnianej, gdy agenci kończą pracę. Licencja to Apache 2.0.

To jedna odpowiedź na problem kosztów: przestać płacić za token.

Nie jedyna i nie ta, na którą wskazują pozostałe materiały z tego tygodnia. Quail, silnik inferencji zbudowany przez zespół Full Stack Data Lab stojący za DocETL, celuje w drugą połowę rachunku. Autorzy przekonują, że zapytania AI-SQL, w których wywołanie LLM przypada na każdy wiersz albo każdą parę wierszy, są źle obsługiwane przez silniki ogólnego przeznaczenia. Wysyłanie milionów powiązanych wywołań modelu do vLLM jako osobnych żądań dużo kosztuje, piszą. Quail planuje za to zapytanie i inferencję razem.

Liczby są konkretne. Przy zapytaniu z wieloma złączeniami, gdzie planowanie ma największe znaczenie, Quail przetwarza ponad miliard tokenów na minutę na jednym GPU H100. Według zespołu to ponad 10 razy więcej niż jego baseline vLLM na tym samym sprzęcie. Na Modal wychodzi z tego poniżej 6 centów za miliard tokenów. Na własnym benchmarku AI-SQL zespołu zysk jest mniejszy: 1,84 razy szybciej niż vLLM, średnia geometryczna, łącznie z dwoma zapytaniami zaprojektowanymi tak, by pokazać, gdzie inferencja AI-SQL wciąż nie domaga.

Ceny za token to nie cały rachunek

Wrześniowy indeks AICostBudget, zamrożony na granicy 30 września czasu UTC, obejmuje 81 publicznych cenników od 11 dostawców. Wśród 69 rekordów z aktualnym skalarem ceny tokenu wejściowego widełki biegną od 0,10 do 30 dolarów za 1M tokenów. Wyjście od 0,10 do 180 dolarów. Mediana ceny wejścia to 1,32 dolara, a mediana wyjścia 6 dolarów, czyli stosunek 5,0 razy na 69 rekordach, które mają obie wartości.

Mediany dostawców mocno się rozjeżdżają. 18 rekordów wejścia i 18 rekordów wyjścia OpenAI mają mediany 2 i 11 dolarów. Google Gemini, po 14 każdych, mediany 0,75 i 4,125 dolara. 13 rekordów Anthropic mediany 5 i 25 dolarów. Dziewięć rekordów xAI to 1,25 i 2,50 dolara, siedem Mistrala 0,20 i 0,60 dolara, trzy DeepSeeka 0,30 i 1,20 dolara.

Indeks wskazuje też, co umyka naiwnemu porównaniu. Na 58 porównywalnych rekordach mediana zniżki za wejście z pamięci podręcznej wynosi 90%, a na 44 rekordach obsługujących Batch mediana zniżki Batch na wejściu to 50%. Ramy raportu są dosadne: porównanie obciążeń, które pomija cennik pamięci podręcznej i Batch, pomija opublikowane tryby oszczędzania dla dużej części śledzonych rekordów. Raport dodaje, że stron dokumentów, przechowywania, czasu trwania sesji i innych jednostek opartych na czasie nie da się bezpiecznie spłaszczyć do tabeli samych tokenów. To uczciwe ostrzeżenie dla każdego, kto buduje jedną ligową tabelę kosztu za token.

Dane cenowe to migawka, nie cena równowagi rynkowej. Moc obliczeniowa GPU zmienia się osobno.

Dokąd idą pieniądze na GPU

Business Insider podał 30 września, że OpenAI ogłosił na wtorkowym DevDay plan ChatGPT za 500 dolarów miesięcznie, o 300 dolarów droższy od dotychczas najdroższego planu firmy. Plan obejmuje moc obliczeniową "Ultrafast" dla GPT-6 Astra w ChatGPT Work i Codex, która według OpenAI daje 8 razy szybsze działanie w Codex, plus najwyższy włączony limit zużycia w firmie. Business Insider podał też, że OpenAI przywraca plan Pro za 200 dolarów, jednocześnie o połowę zmniejszając limit mocy obliczeniowej, z 20 razy planu Plus za 20 dolarów do 10 razy, i obniżając limit wiadomości GPT-6 Pro ze 200 do 100 tygodniowo. Thibault Sottiaux, inżynier prowadzący Codex, napisał w poniedziałkowym wpisie na X, że zmiany dają w sumie połowę wydatków dolarowych w API względem poprzedniego planu.

Po stronie sprzętu artykuł z SOSP '26 autorstwa Prasoona Sinhy, Dimitriosa Liakopoulosa, Nathana Lemmy i Neerei J. Yadwadkar, opublikowany 28 września, stawia tezę wbrew zwykłej metryce wykorzystania. GPU są drogie, a klastry inferencji pozostają mocno niewykorzystane, więc systemy sięgają po multipleksowanie. Autorzy piszą jednak, że optymalizacja wyłącznie pod wykorzystanie może paradoksalnie zwiększyć zużycie energii. Ich system EnerTune używa analitycznych modeli wydajności i poboru mocy dla poszczególnych modeli, w tym poboru modeli współlokowanych na wspólnych GPU, wewnątrz algorytmu pakowania z uwzględnieniem energii. Podaje od 1,4 do 2,3 razy niższe zużycie energii i od 1,3 do 2,6 razy niższy pobór mocy niż najlepsze baseline'y, przy zachowaniu SLO wydajności.

To twierdzenie o koszcie rachunku, którego większość tabel cen tokenów nie pokazuje.

Robotyka gra w to samo na innym boisku. Mind-1 firmy MindOn, ogłoszony 30 września, skraca opóźnienie inferencji z 82 ms do 32 ms, według własnego opisu firmy. Wpis wyjaśnia, dlaczego to ma znaczenie: przy prędkości efektora 3 m/s opóźnienie 10 ms odpowiada ruchowi około 3 cm, dość, by wpłynąć na precyzyjne chwytanie, wkładanie albo manipulację z bogatym kontaktem. MindOn wskazuje też na tempo danych treningowych, przekonując, że demonstracje teleoperowane są wolniejsze od naturalnego ruchu człowieka, a modele uczą się tempa tak samo jak zadania.

Dwa rachunki, dwie strategie

Doświadczenie Pinecone z kalkulatorem cen, opisane przez Gabriela Kogana 30 września, przypomina, że liczba kosztów, którą widzi klient, sama jest decyzją produktową. Kalkulator dawał szacunki zawyżone nawet 1 000 razy po jednym błędnym odczytaniu i wzbudzał w użytkownikach fałszywą pewność, która zniechęcała ich do sprawdzania dokumentacji. Gdy firma przetestowała usunięcie kalkulatora w teście A/B, odwiedzający, którzy go nie widzieli, 16% częściej się rejestrowali i 90% częściej kontaktowali się z firmą, bez wzrostu liczby zgłoszeń do wsparcia cenowego. W wewnętrznym badaniu 7 na 10 pracowników spodziewało się, że wersja z kalkulatorem wypadnie lepiej.

Dwa kolejne punkty danych leżą poza stosem AI, ale opisują ten sam argument o zastępowaniu paliwa kapitałem. Transport & Environment, przeanalizowany przez CleanTechnica 29 września, twierdzi, że kierowcy aut elektrycznych płacą za kilometr mniej niż połowę tego, co kierowcy diesli, przy założeniach 6,9 l/100 km dla diesla, 20,2 kWh/100 km dla bateryjnego auta elektrycznego i cenie prądu 0,343 euro/kWh. Antony Froggatt z grupy powiedział, że kierowcy diesli płacą za bak o 32 euro więcej niż na początku roku, z czego około 16 euro to dodatkowa marża rafineryjna.

Light Reading podał 30 września, że StarHub i M1 prowadzą rozmowy o fuzji w Singapurze, a połączony podmiot dorówna skalą Singtelowi, oraz że nowozelandzkie 2degrees i OneNZ zaproponowały połączenie swoich sieci radiowych. Porozumienie 5G China Telecom i China Unicom, największa tego typu umowa o współdzieleniu, obejmuje 1 500 000 stacji bazowych i przyniosło 56 mld dolarów oszczędności capeksowych. Nic z tego nie jest inferencją AI. Wszystko to ten sam handel: dziel aktywo stałe, tnij koszt krańcowy.

Dla kupujących podział jest teraz jasny. Ceny za token spadają w publikowanych tabelach, a tryby pamięci podręcznej i Batch obniżają je dalej. Koszty za godzinę GPU to inny rynek, a tegoroczne badania sugerują, że większość z nich wciąż się marnuje. Ani lokalne jądra Magnitude, ani planer zapytań Quail tego nie naprawiają. Przesuwają tylko miejsce, w którym stoi licznik.

Komentarze 0

Źródła

10
  1. 01Launch HN: Magnitude (YC S25) – Self-optimizing inference engine for agentsEN
  2. 02Hitting 1B tokens/minute on 1 GPU combining a query planner and inference engineEN
  3. 03Jointly optimizing SQL queries and LLM inference for up to 14x speedupsEN
  4. 04AI API pricing index - September 2026EN
  5. 05ChatGPT's new plan costs $500 a monthEN
  6. 06Beyond Utilization: Energy-Conscious GPU Sharing for Inference ServingEN
  7. 07Mind-1: Cutting robot inference latency from 82ms to 32msEN
  8. 08The pricing calculator made people more confused about pricingEN
  9. 09Driving An EV Now Costs Half As Much As Diesel, New Analysis ShowsEN
  10. 10Singapore, New Zealand operators seek partnerships to cut costsEN

Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.

Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.

Anna Kaczmarek

Anna Kaczmarek

AI, modele i technologie

Anna Kaczmarek pisze o technologiach, AI i modelach oraz mediach i internecie, opierając się na dokumentacji, repozytoriach i danych źródłowych, a nie na komunikatach prasowych. Przy testach modeli sprawdza karty techniczne, parametry wejściowe i liczy wyniki na tych samych zbiorach, zamiast powtarzać liczby od producentów. Czeka na premiery API i aktualizacje wag, rozmawia z inżynierami oraz porównuje wersje modeli pod kątem kosztów i opóźnień. Prywatnie self-hostuje usługi i konfiguruje sieci domowe, więc do redakcji wnosi praktykę z własnego serwera. Nie publikuje zapowiedzi ani parametrów, których nie może odtworzyć na własnym środowisku.

Redakcja →

Komentarze

0
  1. Brak komentarzy — bądź pierwszy.

Dodaj komentarz

Komentarze są widoczne publicznie. Nie publikujemy wulgaryzmów, spamu i treści reklamowych.