Silnik wnioskowania Quail przekracza miliard tokenów na minutę, a ceny u dostawców rosną
Quail, silnik wnioskowania zbudowany przez Full Stack Data Lab, przetworzył ponad miliard tokenów na minutę na jednym GPU H100. Wyniki opublikowano 30 września. To ponad 10 razy szybciej niż bazowy vLLM na tym samym sprzęcie i poniżej 6 centów za miliard tokenów na platformie Modal.

Te liczby pojawiają się, gdy moc obliczeniowa GPU drożeje. Według doniesień AWS podniósł ceny mocy GPU o 15% od 7 października, a Nebius podniósł ceny wnioskowania o 18,3% pod koniec września. Na tym tle kilka projektów z warstwy wnioskowania opublikowało w tym tygodniu testy porównawcze, które atakują koszty od strony oprogramowania.
Quail, skrót od QUery-Aware Inference Layer, pochodzi z Full Stack Data Lab. Zespół opisuje go jako wspólną optymalizację planisty zapytań SQL i silnika wnioskowania, zbudowaną dla AI-SQL: SQL rozszerzonego o funkcje zdefiniowane przez użytkownika, które wywołują LLM. Własny opis testów silnika podaje, że jest 1,84 razy szybszy niż vLLM przy średniej geometrycznej po zadaniach. Wśród zadań są dwa zapytania, które autorzy zaprojektowali, by pokazać, gdzie wnioskowanie AI-SQL wciąż wymaga pracy.
To obciążenie nie przypomina chatbota.
Funkcja AI ocenia swój prompt wiersz po wierszu, więc jedno zapytanie SQL może utworzyć setki tysięcy albo miliony wywołań modelu, jak podaje post techniczny laboratorium z 30 września. Filtr wymaga jednego wywołania LLM na wiersz. Naiwne złączenie wymaga jednego wywołania dla każdej pary wierszy z dwóch tabel wejściowych. Wysyłanie ich jako osobnych żądań do silnika ogólnego przeznaczenia, takiego jak vLLM, wiąże się z dużym narzutem, argumentuje post, bo żądania dzielą prefiksy, które można by wykorzystać ponownie.
Zapytanie BIO-4 z benchmarku QUAIL-B laboratorium pokazuje skalę: 5 000 długich raportów medycznych złączonych z 4 144 terminami reakcji, przy czym lista reakcji jest użyta dwa razy, do dwóch złączeń. Plan filtruje zbiory terminów pod kątem reakcji sercowo-naczyniowych i neurologicznych, a następnie złącza ocalałe raporty z każdym z nich. Naiwne wykonanie oznaczałoby prompt na każde wejście filtra i prompt na każdą kandydacką parę raport-reakcja.
Quail odpowiada na to, czyniąc planistę i silnik świadomymi siebie nawzajem. Quail jest opublikowany jako wersja 0.1.0, z przykładem, który uruchamia zapytanie na zbiorze danych IMDB z użyciem qwen3-4b-fp8 na urządzeniu h100-sxm. Opis testów silnika podaje wynik miliarda tokenów na minutę na jednym zapytaniu z wieloma złączeniami, gdzie planowanie ma największe znaczenie, ponad 10 razy szybciej niż bazowy vLLM na identycznym sprzęcie.
Modal, który hostuje demo, podaje koszt poniżej 6 centów za miliard tokenów. Ta liczba dotyczy konkretnego profilu zapytania: małych modeli o otwartych wagach, obsługujących krótkie, ograniczone decyzje, a nie długie łańcuchy agentowe. Autorzy laboratorium wymieniają DocETL z UC Berkeley, LOTUS ze Stanford, Palimpzest z MIT i ThalamusDB z Cornell wśród systemów akademickich w tej samej dziedzinie. Technikom takim jak MOAR, Task Cascades, Abacus i BARGAIN przypisują zasługę w obniżaniu liczby wywołań i rozmiarów modeli.
Ich twierdzenie jest takie, że nawet po tych optymalizacjach plan wciąż może wymagać setek tysięcy albo milionów wywołań, i tu właśnie wyspecjalizowany silnik zarabia na siebie.
Quail nie jest sam w celowaniu w lokalny sprzęt. Magnitude, firma z YC S25, uruchomiła 30 września otwartoźródłowy silnik wnioskowania dla agentów, publikując go na GitHubie na licencji Apache 2.0. Jej README twierdzi, że otwarte modele działają do 2 razy szybciej niż llama.cpp, co rozkłada się na 92% szybsze dekodowanie na Metal i 19% na CUDA. Mechanizm to kompilacja i dostrajanie jąder na urządzeniu użytkownika przed uruchomieniem modelu, zamiast dostarczania wstępnie skompilowanych jąder dla szerokich klas sprzętu.
Magnitude twierdzi też, że zużywa o 27% mniej pamięci na agenta, zwalnianej, gdy agenci się zatrzymują, oraz że współdzieli pamięć podręczną prefiksów między równoczesnymi sesjami. Obsługuje Apple Silicon, NVIDIA, AMD lub sam CPU, i łączy się z Pi, OpenCode, Hermes, OpenClaw, Codex, Claude Code, Oh My Pi i Cline, z API zgodnym z OpenAI dla wszystkiego innego. Firma twierdzi, że prompty, pliki i modele pozostają na maszynie, bez potrzeby internetu po pobraniu modelu.
Oba projekty sprzedają tę samą ekonomię: przenieść wnioskowanie z rozliczanych punktów końcowych w chmurze na sprzęt, który kupujący już posiada lub wynajmuje za stałą stawkę. Dane o cenach sugerują, dlaczego ta propozycja trafia.
Wrześniowy indeks cen AICostBudget, zamrożony na 30 września, obejmuje 81 publicznych rekordów od 11 dostawców. Mediana ceny wejścia w 69 niepustych skalarach wynosi 1,32 dolara za milion tokenów, a mediana ceny wyjścia to 6 dolarów. Mediana wyjścia jest 5,0 razy większa od wejścia. Obserwowane zakresy są szerokie: wejście od 0,10 do 30 dolarów za milion tokenów, wyjście od 0,10 do 180.
Indeks kwantyfikuje też struktury rabatowe, które sprawiają, że ceny z nagłówków mylą. W 58 porównywalnych rekordach mediana rabatu na wejście z pamięci podręcznej wynosi 90%, przy obserwowanym zakresie od 75% do 98%. W 44 rekordach obsługujących tryb wsadowy mediana rabatu Batch na wejście wynosi 50%, przy obserwowanym zakresie od 20% do 50%. Własny wniosek raportu jest dosadny: porównanie obciążeń, które pomija ceny pamięci podręcznej i trybu Batch, pomija opublikowane tryby oszczędności dla dużej części śledzonych rekordów.
Mediany u poszczególnych dostawców w tym samym zbiorze danych dają OpenAI 2 dolary za wejście i 11 za wyjście w 18 rekordach, Google Gemini 0,75 i 4,125 w 14, Anthropic 5 i 25 w 13, xAI 1,25 i 2,5 w dziewięciu, Mistral AI 0,20 i 0,60 w siedmiu, DeepSeek 0,30 i 1,2 w trzech, Moonshot AI 0,95 i 4 w trzech, a Cohere 1,5 i 5,75 w dwóch. Raport ostrzega, że strony dokumentów, pamięć masowa, czas trwania sesji i inne jednostki oparte na czasie nie dają się spłaszczyć do tabeli opartej tylko na tokenach, i że 13 rekordów zawiera składniki nietokenowe.
Nie każdy problem z kosztami jest problemem cenowym. Praca przedstawiona na SOSP '26 28 września argumentuje, że optymalizacja klastrów GPU wyłącznie pod kątem wykorzystania może podnieść zużycie energii. Autorzy, Prasoon Sinha, Dimitrios Liakopoulos, Nathan Lemma i Neeraja J. Yadwadkar, przedstawiają EnerTune, który używa analitycznych modeli wydajności i mocy dla poszczególnych modeli, a także poboru mocy współlokowanych modeli na współdzielonych GPU, wewnątrz energetycznie świadomego algorytmu pakowania, który wybiera rozmieszczenie i konfigurację razem.
Ich abstrakt podaje redukcje energii od 1,4 do 2,3 razy i redukcje poboru mocy od 1,3 do 2,6 razy względem najlepszych baz, przy jednoczesnym spełnieniu SLO wydajności. Praca argumentuje, że profilowanie każdego modelu w setkach konfiguracji jest zbyt kosztowne w skali, dlatego podejście opiera się na modelach, a nie na pomiarach.
W fizycznej AI ograniczeniem jest opóźnienie, nie przepustowość. MindOn opublikował 30 września Mind-1, twierdząc, że skraca opóźnienie wnioskowania robota z 82 ms do 32 ms. Post firmy zauważa, że przy prędkości efektora końcowego 3 m/s opóźnienie 10 ms odpowiada około 3 cm ruchu, co wystarcza, by wpłynąć na precyzyjne chwytanie, wkładanie lub manipulację opartą na kontakcie. MindOn wskazuje też na tempo danych treningowych: dużo danych o manipulacji pochodzi z teleoperacji, która jest wolniejsza niż naturalny ruch człowieka, a modele uczą się tempa razem z zadaniem.
Ta sama logika efektywności pojawia się poza AI. CleanTechnica poinformowała 29 września, że analiza Transport & Environment stawia koszty eksploatacji EV na mniej niż połowie kosztów diesla za kilometr, przy zużyciu diesla 6,9 l/100 km wobec 20,2 kWh/100 km dla elektryka i cenie prądu 0,343 euro/kWh. Antony Froggatt z T&E powiedział, że UE powinna opodatkować zyski z ropy, by sfinansować wsparcie dla gospodarstw domowych o niskich dochodach i programy złomowania. Szacunek T&E dotyczący ładowania jest opisany w ich własnej metodologii jako prawdopodobnie górna granica.
Operatorzy telekomunikacyjni realizują ten sam scenariusz przez konsolidację. Light Reading poinformował 30 września, że StarHub i M1 prowadzą rozmowy o fuzji w Singapurze, gdzie obie firmy dzielą już widmo 5G i sieć dostępu radiowego przez wspólnie posiadaną spółkę Antina. Według doniesień Singtel miał w czerwcu 43% udziału w rynku komórkowym, M1 22%, StarHub 21%, a Simba 14%. W Nowej Zelandii 2degrees i OneNZ zaproponowały połączenie swoich sieci radiowych w wspólnie posiadany podmiot, a decyzji Komisji Handlowej oczekuje się w przyszłym roku. Light Reading cytuje porozumienie 5G China Telecom i China Unicom jako największe tego typu partnerstwo, obejmujące 1 500 000 stacji bazowych i deklarowane oszczędności capex rzędu 56 mld dolarów.
Czy przepustowość Quaila przekłada się na niższe rachunki dla zwykłych użytkowników AI-SQL, nie jest jeszcze ustalone. Liczba 1 000 000 000 tokenów na minutę pochodzi z jednego zapytania z wieloma złączeniami, wybranego, bo planowanie ma największe znaczenie, a średni wynik benchmarku silnika po całym zbiorze zadań to 1,84 razy, nie 10 razy. Samo laboratorium dołączyło dwa zapytania zaprojektowane, by ujawnić obecne słabości. Quail jest w wersji 0.1.0.
Źródła
9- 01Jointly optimizing SQL queries and LLM inference for up to 14x speedupsEN
- 02Hitting 1B tokens/minute on 1 GPU combining a query planner and inference engineEN
- 03AI API pricing index - September 2026EN
- 04Launch HN: Magnitude (YC S25) - Self-optimizing inference engine for agentsEN
- 05Beyond Utilization: Energy-Conscious GPU Sharing for Inference ServingEN
- 06Mind-1: Cutting robot inference latency from 82ms to 32msEN
- 07The pricing calculator made people more confused about pricingEN
- 08Driving An EV Now Costs Half As Much As Diesel, New Analysis ShowsEN
- 09Singapore, New Zealand operators seek partnerships to cut costsEN
Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.
Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.
Komentarze
0- Brak komentarzy — bądź pierwszy.