Przejdź do treści
Czas na świecieEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal o AI i technologiiwydarzenia · analizy · wywiady · tło techniczne

Szukaj
NA ŻYWO
›

Ceny inferencji się rozjeżdżają: otwarte silniki ściskają tokeny, rachunki za sprzęt rosną

30 września ukazał się otwarty silnik inferencji, który dostraja swoje jądra do sprzętu użytkownika. Deklaruje dekodowanie nawet o 92% szybsze niż llama.cpp na Metal, a nowe badania i dane cenowe pokazują coraz większy rozjazd w kosztach uruchamiania AI.

AI i modeleWyjaśnienieAnna KaczmarekOpublikowano: 30 września 20266 min czytaniaŹródła 9
Ceny inferencji się rozjeżdżają: otwarte silniki ściskają tokeny, rachunki za sprzęt rosną

30 września Magnitude, firma z akceleratora Y Combinator S25, opublikowała otwarty silnik inferencji dla agentów. Silnik kompiluje i dostraja jądra na sprzęcie użytkownika. Repozytorium podaje, że otwarte modele działają „nawet 2x szybciej niż llama.cpp”, z dekodowaniem szybszym o 92% na Metal i o 19% na CUDA, przy 27% mniejszym zużyciu pamięci na agenta. Silnik działa na Apple Silicon, NVIDIA, AMD lub CPU i łączy się z Pi, OpenCode, Hermes, Codex, Claude Code i Cline, jak wynika ze strony projektu na GitHubie.

To najnowsza pozycja w tygodniu konkurencyjnych deklaracji o tym, ile inferencja powinna kosztować. Tego samego dnia badacze stojący za Quail, warstwą inferencji świadomą zapytań, poinformowali, że uruchomili zapytanie AI-SQL z wieloma złączeniami z szybkością ponad miliarda tokenów na minutę na jednym GPU H100. Twierdzą, że to ponad 10x szybciej niż ich punkt odniesienia na vLLM na tym samym sprzęcie.

Strona tokenów: planowanie bije siłę

Praca nad Quail, opublikowana na blogu Full Stack Data Lab i szerzej opisana na blogu Modal, dotyczy konkretnego obciążenia: AI-SQL, gdzie zapytania SQL wywołują modele językowe wiersz po wierszu. Filtr potrzebuje jednego wywołania na wiersz, a naiwne złączenie wywołania dla każdej pary wierszy. W zapytaniu testowym, które badacze nazywają BIO-4, dane wejściowe zawierają 5 000 długich raportów medycznych i 4 144 terminy reakcji, użyte dwukrotnie w dwóch złączeniach. Badacze argumentują, że wysyłanie milionów powiązanych wywołań do silnika ogólnego przeznaczenia jako osobnych żądań marnuje współdzielony stan prefiksu. Optymalizując jednocześnie plan zapytania i silnik inferencji, obcięli ten narzut. Tekst Modal podaje koszt poniżej 6 centów za miliard tokenów na ich platformie i raportuje Quail jako 1,84x szybszy niż vLLM, licząc średnią geometryczną na nowym benchmarku AI-SQL, w tym na dwóch zapytaniach, które zespół zaprojektował, by ujawnić pozostałe słabości.

„Różne aplikacje inferencji tworzą różne obciążenia inferencji, a AI-SQL nie jest wyjątkiem” – czytamy w poście Modal, który zauważa, że jedno zapytanie może wygenerować miliony sekwencji po tysiące tokenów.

Obie liczby pochodzą od zespołów budujących te systemy i żadnej nie odtworzono niezależnie na podstawie opublikowanych materiałów. To zastrzeżenie ma znaczenie, bo szerszy obraz cen jest bardziej pogmatwany, niż sugeruje jakiekolwiek pojedyncze przyspieszenie.

Wrześniowy indeks cen AICostBudget, zamrożony na 30 września 2026 roku czasu UTC, śledzi 81 publicznych rekordów u 11 dostawców. Mediana ceny wejścia wynosi 1,32 dolara za 1 mln tokenów, a mediana ceny wyjścia 6 dolarów, czyli stosunek 5,0x w 69 rekordach zawierających obie wartości. Zaobserwowane zakresy sięgają od 0,10 do 30 dolarów za wejście i od 0,10 do 180 dolarów za wyjście. Ten sam zbiór danych podaje medianę zniżki na wejście z pamięci podręcznej na poziomie 90% w 58 porównywalnych rekordach i medianę zniżki wsadowej na poziomie 50% w 44 wierszach obsługujących tryb wsadowy. Innymi słowy, cenniki katalogowe słabo podpowiadają, ile obciążenie faktycznie płaci. Mediany dostawców w indeksie rozciągają się od Mistral AI z 0,20 dolara za wejście i 0,60 za wyjście w trzech rekordach do Anthropic z 5 i 25 dolarami w 13 rekordach. 18 rekordów OpenAI to 2 i 11 dolarów; 14 rekordów Google Gemini to 0,75 i 4,125 dolara.

Strona sprzętu: energia, nie tylko wykorzystanie

Jeśli ekonomia tokenów się poprawia, ekonomia GPU bynajmniej nie idzie za nią w oczywisty sposób. Praca przedstawiona na SOSP '26 28 września przekonuje, że optymalizacja klastrów GPU wyłącznie pod wykorzystanie może podnieść zużycie energii. Autorzy, Prasoon Sinha, Dimitrios Liakopoulos, Nathan Lemma i Neeraja J. Yadwadkar, opisują EnerTune, system serwowania, który modeluje wydajność i pobór mocy dla każdego modelu, także modeli współdzielących GPU, i używa algorytmu pakowania z uwzględnieniem energii do rozmieszczania i konfiguracji modeli. Praca deklaruje redukcję energii 1,4-2,3x i redukcję poboru mocy 1,3-2,6x względem najlepszych dostępnych punktów odniesienia przy zachowaniu celów wydajności SLO. Zwraca też uwagę na praktyczną stronę skali: profilowanie każdego modelu w setkach konfiguracji jest zaporowo drogie, a samo profilowanie zużywa energię.

To wynik akademicki, nie benchmark producenta, i pojawia się w momencie, gdy operatorzy w Azji i Pacyfiku wybierają inną drogę do cięcia kosztów. Light Reading podał 30 września, że StarHub i M1 prowadzą rozmowy o fuzji w Singapurze, gdzie już dzielą widmo 5G i sieć dostępu radiowego przez wspólnie posiadaną spółkę Antina. Według doniesień Singtel miał w czerwcu 43% udziału w rynku komórkowym, M1 22%, StarHub 21%, a Simba 14%.

W Nowej Zelandii 2degrees i OneNZ zaproponowały połączenie swoich sieci radiowych we wspólnie posiadany podmiot, a transakcja ma trafić do Commerce Commission w przyszłym roku. Light Reading przypomina precedens: współdzielona infrastruktura 5G China Telecom i China Unicom to obecnie 1 500 000 stacji bazowych i deklarowane oszczędności 56 mld dolarów w nakładach inwestycyjnych. To umowy o łączności, nie o moc obliczeniową dla AI, ale pokazują ten sam instynkt: dzielenie drogich aktywów stałych wygrywa z ich dublowaniem.

Co widzą kupujący

Dla każdego, kto faktycznie płaci za inferencję, najbardziej użytecznym punktem tygodnia może być ten ostrzegawczy. Gaurav Kogan napisał 30 września, że po teście A/B usunął kalkulator cenowy oparty na zużyciu w Pinecone. Odwiedzający, którzy nie widzieli kalkulatora, o 16% częściej się rejestrowali i o 90% częściej kontaktowali się z firmą, pisał, bez wzrostu liczby zgłoszeń do działu cen. Jego wyjaśnienie usunięcia kalkulatora jest konkretne: drobne błędne odczytanie mogło dać szacunek zawyżony nawet 1 000 razy, a kalkulator dawał użytkownikom fałszywą pewność. Wewnętrzna ankieta pokazała, że 7 na 10 pracowników spodziewało się lepszych wyników wersji z kalkulatorem. Lekcja przenosi się na ceny inferencji, gdzie stawki z pamięci podręcznej i wsadowe mogą zmienić rachunek o rząd wielkości, a nagłówna liczba rzadko odzwierciedla obciążenie.

Dwie inne pozycje z 30 września leżą na skraju tej historii. MindOn przedstawił Mind-1, model fizycznej AI, który według firmy skraca opóźnienie inferencji robota z 82 ms do 32 ms, i zauważa, że przy prędkości efektora 3 m/s opóźnienie 10 ms odpowiada około 3 cm ruchu. A Transport & Environment opublikował analizę, omówioną przez CleanTechnica 29 września, według której kierowcy aut elektrycznych płacą za kilometr mniej niż połowę tego, co kierowcy diesli, a ci drudzy płacą za bak o 32 euro więcej niż na początku roku.

Żadna z tych historii nie dotyczy centrów danych. Obie przypominają, że koszt inferencji jest teraz fizycznym ograniczeniem mierzonym w milisekundach, dżulach i euro, nie tylko w dolarach za milion tokenów.

Wspólny wątek tygodnia jest taki, że żadna pojedyncza liczba tego nie rozstrzyga. Deklaracja Magnitude o 92% szybszym dekodowaniu dotyczy Metala i pochodzi od samego autora. Miliard tokenów na minutę w Quail pochodzi z jednego zapytania z wieloma złączeniami na jednym H100, a sam zespół wskazuje dwa zapytania benchmarkowe jako obszary do poprawy. Oszczędności EnerTune są modelowane względem punktów odniesienia w pracy. Indeks cen to zamrożony zapis cen katalogowych, których większość kupujących nie płaci.

Spójny jest kierunek inżynierii: dostroić jądra do konkretnego układu, planować zapytania wokół modelu i traktować moc jako metrykę pierwszej kategorii. Czy przełoży się to na tańszą inferencję, zależy mniej od pojedynczego benchmarku, a bardziej od tego, ile z tego trafi do produkcji.

Komentarze 0

Źródła

9
  1. 01Launch HN: Magnitude (YC S25) - Self-optimizing inference engine for agentsEN
  2. 02Jointly optimizing SQL queries and LLM inference for up to 14x speedupsEN
  3. 03Hitting 1B tokens/minute on 1 GPU combining a query planner and inference engineEN
  4. 04AI API pricing index - September 2026EN
  5. 05Beyond Utilization: Energy-Conscious GPU Sharing for Inference ServingEN
  6. 06Singapore, New Zealand operators seek partnerships to cut costsEN
  7. 07The pricing calculator made people more confused about pricingEN
  8. 08Mind-1: Cutting robot inference latency from 82ms to 32msEN
  9. 09Driving An EV Now Costs Half As Much As Diesel, New Analysis ShowsEN

Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.

Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.

Anna Kaczmarek

Anna Kaczmarek

AI, modele i technologie

Anna Kaczmarek pisze o technologiach, AI i modelach oraz mediach i internecie, opierając się na dokumentacji, repozytoriach i danych źródłowych, a nie na komunikatach prasowych. Przy testach modeli sprawdza karty techniczne, parametry wejściowe i liczy wyniki na tych samych zbiorach, zamiast powtarzać liczby od producentów. Czeka na premiery API i aktualizacje wag, rozmawia z inżynierami oraz porównuje wersje modeli pod kątem kosztów i opóźnień. Prywatnie self-hostuje usługi i konfiguruje sieci domowe, więc do redakcji wnosi praktykę z własnego serwera. Nie publikuje zapowiedzi ani parametrów, których nie może odtworzyć na własnym środowisku.

Redakcja →

Komentarze

0
  1. Brak komentarzy — bądź pierwszy.

Dodaj komentarz

Komentarze są widoczne publicznie. Nie publikujemy wulgaryzmów, spamu i treści reklamowych.