Przejdź do treści
Czas na świecieEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal o AI i technologiiwydarzenia · analizy · wywiady · tło techniczne

Szukaj
NA ŻYWO
›

Quail wyciska 1 000 000 000 tokenów na minutę z jednego H100, a rynek śledzenia cen GPU gęstnieje

Modal i Full Stack Data Lab z Carnegie Mellon przekonują, że ich silnik Quail przepuścił zapytanie AI-SQL z wieloma złączeniami powyżej 1 000 000 000 tokenów na minutę na jednym H100, ponad 10x szybciej niż ich punkt odniesienia na vLLM. Wyniki opublikowano 30 września.

AI i modeleAnalizaAnna KaczmarekOpublikowano: 30 września 20265 min czytaniaŹródła 7
Quail wyciska 1 000 000 000 tokenów na minutę z jednego H100, a rynek śledzenia cen GPU gęstnieje

Do tego twierdzenia dołączona jest cena: poniżej 6 centów za 1 000 000 000 tokenów na Modal, według bloga firmy. Takie liczby decydują, czy AI-SQL w ogóle trafi do wdrożenia, czy po cichu wyląduje na półce. Filtr na milionie wierszy to milion wywołań modelu.

Dwa wąskie gardła, dwa rozwiązania

Full Stack Data Lab opisuje problem w kategoriach bazy danych. Zapytanie, które łączy 5 000 raportów medycznych z 4 144 terminami reakcji, rozrasta się do milionów osobnych żądań inferencji. Przepuszczanie ich po kolei przez vLLM 0.26.0 z Qwen3 4B FP8 na jednym H100 zajęło 6,84 godziny. Autorzy wyliczają, że to 27,55x więcej niż ich szacunek roofline wynoszący 894,37 sekundy, czyli 14,91 minuty. Wskazują dwie przyczyny. Pierwsza to narzut hosta: procesor układa żądania w kolejce, a H100 stoi bezczynnie. Druga to KV regret, czyli sytuacja, w której silnik wyrzuca stan kluczy i wartości, którego później znowu potrzebuje. W tym teście przy współczynniku skali 1.0 vLLM przetworzył 174 600 000 tokenów, których wcale nie musiał.

Quail odpowiada na to zajrzeniem do planu zapytania przed jego uruchomieniem. Kiedy znasz kształt złączeń, możesz tak ustawić żądania, żeby wspólne prefiksy zostały w pamięci podręcznej. Możesz też łączyć w partie pracę, którą silnik ogólnego przeznaczenia traktuje jako niepowiązaną. Wpis na blogu Modal nazywa to modyfikacją uwagi kaskadowej w stylu Hydragen. Oba zespoły mówią o projekcie jako o współpracy badaczy inferencji z Modal i grupy bazodanowej CMU.

W całym teście liczba jest mniejsza: 1,84x szybciej niż vLLM, uśredniając geometrycznie. W zestawie są też dwa zapytania, które autorzy zbudowali specjalnie po to, żeby pokazać, gdzie inferencja AI-SQL wciąż zawodzi.

Dane o cenach, które są pod spodem

Twierdzenia o kosztach brzmią inaczej w zależności od tego, ile od początku kosztuje godzina GPU, a ta liczba zmienia się teraz co tydzień. GPUAdvisor śledzi 14 dostawców. Podaje Hyperstack po 0,15 dolara za godzinę za A4000 16GB, Lium po 0,22 dolara za RTX 3090 i 0,38 dolara za L40S, a także RunPod z RTX A5000 po 0,27 dolara w trybie on-demand wobec 0,16 dolara w warstwie Community Cloud. Jego strona, ostatnio aktualizowana 1 października, mówi wprost, że ceny GPU przestały być stabilną tabelą, do której się zagląda.

FitMyLLM podchodzi do tego samego pytania od strony tokenów i przekonuje, że stawka godzinowa nic nie mówi bez liczby przepustowości. Jego działająca tabela pobiera stawki z API dostawców co trzy minuty i porządkuje je według kosztu za milion tokenów wyjściowych przy jednym strumieniu. Najtaniej wypada oferta RTX 3060 na Vast.ai: 0,261 dolara za milion tokenów. RTX 5090 na Vast.ai daje 227 tokenów na sekundę i 0,576 dolara za milion. Serwis od razu zastrzega, że karty data center wypadają w tym zestawieniu słabo z założenia, bo H100 czy H200 zarabia na swoją cenę, obsługując wiele strumieni naraz. Zaznacza też, że te wiersze są szacunkami, a nie pomiarami.

„Cena na giełdzie to oferta jednego hosta, a nie publikowana stawka: może zniknąć, a host potrafi trzymać kartę poniżej fabrycznego limitu mocy, co kosztuje prędkość, której cena nie pokazuje.”

Dla kupujących API, a nie wynajmujących GPU, wrześniowy indeks AICostBudget zamraża 81 publicznych rekordów od 11 dostawców z datą odcięcia 2 026-09-30. Mediana ceny wejścia to 1,32 dolara za milion tokenów, mediana wyjścia 6 dolarów, a mediana stosunku wyjścia do wejścia wynosi 5,0x. Rekordy z pamięcią podręczną wejścia pokazują medianę zniżki 90%, a rekordy z ceną Batch medianę 50%, odpowiednio w 58 i 44 porównywalnych wierszach. Indeks wyraźnie ostrzega, że jego mediany u dostawców nie są ważonymi zużyciem cenami rynkowymi i że nie twierdzi, jakoby cała branża notowała roczny spadek.

Wydajność przenosi się wyżej

Energia to następna pozycja w rachunku. W pracy opublikowanej na SOSP '26 28 września Prasoon Sinha, Dimitrios Liakopoulos, Nathan Lemma i Neeraja J. Yadwadkar przekonują, że optymalizacja wyłącznie pod wykorzystanie GPU może podnieść zużycie energii. Ich system EnerTune korzysta z analitycznych modeli wydajności i mocy poszczególnych modeli, w tym poboru mocy modeli współdzielących jedną kartę, wewnątrz algorytmu pakowania z uwzględnieniem energii. Autorzy raportują dotrzymanie SLO wydajności przy obniżeniu energii od 1,4x do 2,3x i poboru mocy od 1,3x do 2,6x względem najlepszych dostępnych rozwiązań. Profilowanie każdej konfiguracji jest samo w sobie zbyt drogie w skali, dlatego modele są analityczne, a nie mierzone.

Inferencja na urządzeniu końcowym przedstawia ten sam argument z drugiej strony. Magnitude, firma z YC S25, która 30 września opublikowała wpis na Hacker News, udostępnia silnik open source na licencji Apache 2.0. Kompiluje on i dostraja jądra na sprzęcie użytkownika, zanim model ruszy. W README czytamy o nawet 2x szybciej niż llama.cpp, o 92% szybszym dekodowaniu na Metal i 19% na CUDA oraz o 27% mniejszym zużyciu pamięci na agenta. Żadnych kosztów tokenów, nic nie wychodzi z maszyny. Kosztem jest to, że uruchamia otwarte modele na twoim GPU, a nie model frontier na cudzym.

Na co powinni patrzeć kupujący

Trzy liczby w tym zestawie wskazują w różne strony. Średnie przyspieszenie 1,84x w Quail jest prawdziwe, ale skromne obok nagłówka o 1 000 000 000 tokenów na minutę, i sami autorzy to przyznają. Najtańsza zmierzona stawka FitMyLLM, 0,261 dolara za milion tokenów, dotyczy karty konsumenckiej, której większość zespołów produkcyjnych nie wdroży. Mediana ceny wyjścia w AICostBudget, 6 dolarów za milion tokenów, odzwierciedla cenniki, a nie stawki z pamięci podręcznej czy z Batcha, które naprawdę płaci większość dużych obciążeń.

Praktyczny wniosek: godzinowe stawki za GPU są dziś zwykłym porównaniem towaru, a różnicowanie przeniosło się na przepustowość za dolara, zachowanie pamięci podręcznej i energię. Autorzy Quaila mówią wprost, że to początek, a nie koniec. Proszą o jedno, czego ich test sam nie dostarczy: o realne obciążenia od zespołów, które uruchamiają AI-SQL na dużą skalę.

Komentarze 0

Źródła

7
  1. 01Quail: Speeding up AI-SQL by jointly optimizing query planner and inference engineEN
  2. 02Building an Ultra-High Throughput AI-SQL EngineEN
  3. 03Cloud GPU Pricing — Cost Intelligence for H100, A100 & B200EN
  4. 04Cloud GPU prices for LLM inference — cost per million tokensEN
  5. 05AI API Pricing Index — September 2026EN
  6. 06Beyond Utilization: Energy-Conscious GPU Sharing for Inference ServingEN
  7. 07Launch HN: Magnitude (YC S25) – Self-optimizing inference engine for agentsEN

Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.

Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.

Anna Kaczmarek

Anna Kaczmarek

AI, modele i technologie

Anna Kaczmarek pisze o technologiach, AI i modelach oraz mediach i internecie, opierając się na dokumentacji, repozytoriach i danych źródłowych, a nie na komunikatach prasowych. Przy testach modeli sprawdza karty techniczne, parametry wejściowe i liczy wyniki na tych samych zbiorach, zamiast powtarzać liczby od producentów. Czeka na premiery API i aktualizacje wag, rozmawia z inżynierami oraz porównuje wersje modeli pod kątem kosztów i opóźnień. Prywatnie self-hostuje usługi i konfiguruje sieci domowe, więc do redakcji wnosi praktykę z własnego serwera. Nie publikuje zapowiedzi ani parametrów, których nie może odtworzyć na własnym środowisku.

Redakcja →

Komentarze

0
  1. Brak komentarzy — bądź pierwszy.

Dodaj komentarz

Komentarze są widoczne publicznie. Nie publikujemy wulgaryzmów, spamu i treści reklamowych.