Przejdź do treści
Czas na świecieEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal o AI i technologiiwydarzenia · analizy · wywiady · tło techniczne

Szukaj
NA ŻYWO
›

Silnik wnioskowania Quail dobija do miliarda tokenów na minutę na jednym H100

Dwa zespoły badawcze opublikowały 30 września nowe wyniki silników wnioskowania. Twierdzą, że zapytania AI-SQL mogą działać ponad dziesięć razy szybciej niż baseline vLLM na tym samym sprzęcie.

AI i modeleNewsAnna KaczmarekOpublikowano: 30 września 20264 min czytaniaŹródła 7
Silnik wnioskowania Quail dobija do miliarda tokenów na minutę na jednym H100

30 września Modal i Full Stack Data Lab z Carnegie Mellon opublikowały wyniki Quaila, warstwy wnioskowania świadomej struktury zapytania. Według autorów na jednym GPU H100 przetwarza ona ponad 1 000 000 000 tokenów na minutę przy jednym zapytaniu z wieloma złączeniami, ponad 10 razy szybciej niż ich baseline vLLM na tym samym sprzęcie. W ciągu czterech minut pracy daje to 4 000 000 000 tokenów. Do wyniku dołączona jest cena: poniżej 6 centów za 1 000 000 000 tokenów na Modalu.

Praca dotyczy AI-SQL, rozszerzenia SQL, które pozwala zapytaniu wywoływać model językowy wiersz po wierszu. Blog Full Stack Data Lab opisuje filtr, który wymaga jednego wywołania LLM na wiersz, oraz naiwne złączenie, które potrzebuje jednego wywołania na każdą parę wierszy z dwóch tabel wejściowych. Ta arytmetyka szybko rośnie. W zapytaniu testowym, które lab nazywa BIO-4, zespół złącza 5 000 raportów medycznych z 4 144 terminami reakcji i używa listy reakcji dwukrotnie. Baseline vLLM 0.26.0 z Qwen3 4B FP8 na jednym H100 zajął 6,84 godziny przy współczynniku skali 1.0, pisze lab, co daje 27,55 razy więcej niż optymistyczne oszacowanie roofline na poziomie 14,91 minuty.

Lab przypisuje tę różnicę dwóm rzeczom.

Pierwsza to narzut hosta: CPU spędza długie okresy na szeregowaniu żądań, a GPU czeka. Druga to tak zwany KV regret: vLLM wyrzuca stan kluczy i wartości, którego później znów potrzebuje, więc przebieg BIO-4 przetwarza 174 600 000 tokenów, których nie musiał.

"Największa korzyść polega na tym, że mając w ręku zapytanie strukturalne, można uporządkować żądania tak, by lepiej cache'ować (i usuwać) KV" - stwierdza blog Modala.

Quail nie jest w tym osamotniony. Magnitude, spółka z Y Combinator S25, otworzyła 30 września swoje repozytorium na GitHubie z innym podejściem: to silnik wnioskowania dla agentów z otwartym kodem, który kompiluje i dostraja jądra na urządzeniu użytkownika. README twierdzi, że otwarte modele działają do 2 razy szybciej niż llama.cpp, z dekodowaniem szybszym o 92% na Metal i o 19% na CUDA, oraz zużywają o 27% mniej pamięci na agenta. Jako cele wymienia Apple Silicon, NVIDIA, AMD i zwykłe CPU, a kod wydaje na licencji Apache 2.0. Oba projekty przekonują, że ogólnego przeznaczenia stos serwujący zostawia wydajność na stole. Odpowiedzią Quaila jest znajomość struktury zapytania z góry. Odpowiedzią Magnitude jest znajomość krzemu.

Ekonomia stojąca za tym argumentem jest widoczna w danych cenowych. Wrześniowy indeks AICostBudget, zamrożony na 30 września według UTC, obejmuje 81 publicznych rekordów cenowych od 11 dostawców. Wśród 69 rekordów z bieżącym skalarem tokenów wejściowych ceny wahają się od 0,10 do 30 dol. za 1 000 000 tokenów. Wyjście kosztuje od 0,10 do 180 dol. Mediana stosunku wyjścia do wejścia w 69 rekordach z oboma skalarami wynosi 5,0x. Rabaty znaczą tyle samo co ceny katalogowe. W 58 porównywalnych rekordach indeks podaje medianę rabatu za cache'owane wejście na poziomie 90%. W 44 rekordach obsługujących batch mediana rabatu za wejście w batchu to 50%. Strona metodologii mówi wprost, że ceny regionalne i stawki negocjowane nie są ujęte, a dane służą do planowania, nie są fakturą.

Badania po stronie sprzętu idą w tym samym kierunku. Praca opublikowana na SOSP '26 28 września przedstawia EnerTune, system serwujący, który wykorzystuje analityczne modele wydajności i poboru mocy poszczególnych modeli oraz moc modeli współlokowanych na wspólnych GPU, by napędzać algorytm pakowania z uwzględnieniem energii. Autorzy, Prasoon Sinha, Dimitrios Liakopoulos, Nathan Lemma i Neeraja J. Yadwadkar, raportują spadek zużycia energii o 1,4-2,3x i spadek poboru mocy o 1,3-2,6x względem najlepszych baseline'ów przy zachowaniu SLO wydajności.

Ich punkt wyjścia jest taki, że klastry GPU pozostają mocno niewykorzystane, a optymalizacja wyłącznie pod wykorzystanie może podnieść zużycie energii. W dużej skali, argumentują, profilowanie każdego modelu w 100 konfiguracjach jest zbyt kosztowne, więc pomiar musi zastąpić estymacja.

Nie każdy ostatni wynik dotyczy stosu serwującego. MindOn zaprezentował 30 września Mind-1, model fizycznej AI, który według firmy skraca opóźnienie wnioskowania robota z 82 ms do 32 ms i zbliża zadania manipulacji do ludzkich czasów cyklu. W poście firmy czytamy, że przy prędkości efektora 3 m/s opóźnienie 10 ms oznacza około 3 cm ruchu, czyli dość, by zaburzyć precyzyjne chwytanie i wkładanie. To ten sam argument o budżecie opóźnień, zastosowany do ramienia robota, a nie do hurtowni danych.

Jest i przeciwwaga. Post Gleba Kogana opublikowany 30 września opisuje, jak Pinecone usunął kalkulator cen oparty na zużyciu ze swojej strony cennika. W teście A/B odwiedzający, którzy nie widzieli kalkulatora, byli o 16% bardziej skłonni się zarejestrować i o 90% bardziej skłonni skontaktować się z firmą, bez wzrostu liczby zgłoszeń do działu cen. Wewnętrzna ankieta przed testem pokazała, że 7 na 10 pracowników stawiało na wersję z kalkulatorem. Narzędzia kosztowe potrafią więc mylić równie łatwo, jak informować, co jest przestrogą dla każdego, kto czyta benchmarki na token jako rachunek.

Liczby Quaila pozostają badaniami opublikowanymi przez dostawcę, a podawana przez zespół wartość 1,84x dla nowo wydanego benchmarku, uśredniona geometrycznie po zadaniach, jest znacznie skromniejszym twierdzeniem niż nagłówek o miliardzie tokenów na minutę. Sam benchmark zawiera dwie kwerendy, które autorzy, jak mówią, zaprojektowali, by pokazać, gdzie wnioskowanie AI-SQL wciąż wymaga pracy.

Komentarze 0

Źródła

7
  1. 01Hitting 1B tokens/minute on 1 GPU combining a query planner and inference engineEN
  2. 02Building an Ultra-High Throughput AI-SQL EngineEN
  3. 03Launch HN: Magnitude (YC S25) - Self-optimizing inference engine for agentsEN
  4. 04AI API Pricing Index - September 2026EN
  5. 05Beyond Utilization: Energy-Conscious GPU Sharing for Inference ServingEN
  6. 06Mind-1: Physical AI at Human Speed, Built for Real WorkEN
  7. 07The pricing calculator made people more confused about pricingEN

Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.

Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.

Anna Kaczmarek

Anna Kaczmarek

AI, modele i technologie

Anna Kaczmarek pisze o technologiach, AI i modelach oraz mediach i internecie, opierając się na dokumentacji, repozytoriach i danych źródłowych, a nie na komunikatach prasowych. Przy testach modeli sprawdza karty techniczne, parametry wejściowe i liczy wyniki na tych samych zbiorach, zamiast powtarzać liczby od producentów. Czeka na premiery API i aktualizacje wag, rozmawia z inżynierami oraz porównuje wersje modeli pod kątem kosztów i opóźnień. Prywatnie self-hostuje usługi i konfiguruje sieci domowe, więc do redakcji wnosi praktykę z własnego serwera. Nie publikuje zapowiedzi ani parametrów, których nie może odtworzyć na własnym środowisku.

Redakcja →

Komentarze

0
  1. Brak komentarzy — bądź pierwszy.

Dodaj komentarz

Komentarze są widoczne publicznie. Nie publikujemy wulgaryzmów, spamu i treści reklamowych.