Quail liczy AI-SQL z szybkością 1 mld tokenów na minutę na jednej H100, ponad 10 razy szybciej niż vLLM
Modal i Full Stack Data Lab z Carnegie Mellon opublikowały 30 września Quail, silnik wnioskowania, który łącznie optymalizuje planowanie zapytań SQL i wykonanie modelu. Na jednej H100 osiąga ponad 1 mld tokenów na minutę, ponad 10 razy więcej niż wynosi wynik bazowy vLLM.

Liczby mówią same za siebie. Przy jednym zapytaniu z wieloma złączeniami Quail przetwarza ponad 1 mld tokenów na minutę na jednej karcie H100, podaje Modal, który zbudował silnik razem z Full Stack Data Lab na Uniwersytecie Carnegie Mellon. Na sprzęcie Modala daje to mniej niż 6 centów za 1 mld tokenów. W nowym benchmarku zapytań AI-SQL Quail działa 1,84 razy szybciej niż vLLM, licząc średnią geometryczną po zadaniach.
Towarzyszący wpis Full Stack Data Lab, opublikowany tego samego dnia, wyjaśnia, gdzie punkt odniesienia się rozjeżdża. Zespół uruchomił vLLM 0.26.0 z Qwen3 4B FP8 na jednej H100 przeciwko BIO-4, zapytaniu, które filtruje 5 000 raportów medycznych według 4 144 terminów reakcji, złączonych dwukrotnie. Ich szacunek prędkości światła dla planu wyniósł 894,37 sekundy, czyli 14,91 minuty. vLLM potrzebował 6,84 godziny, 27,55 razy więcej niż ten szacunek.
Dwie przyczyny. Narzut hosta, bo procesor planuje i śledzi żądania, podczas gdy H100 stoi bezczynnie. I żal po KV cache: vLLM wyrzuca pamięć kluczy i wartości, której potem znowu potrzebuje, więc przy współczynniku skali 1,0 przebieg przetworzył 174 600 000 tokenów zmarnowanego prefillu.
Quail naprawia to strukturalnie. Mając plan zapytania, silnik może świadomie ustalać kolejność i usuwać KV cache, co jest modyfikacją kaskadowej uwagi w stylu Hydragen. Małe żądania potrafi grupować w partie, żeby karta nie próżnowała. Modal opisuje efekt jako moment, w którym planowanie bazy danych i szeregowanie wnioskowania przestają być osobnymi problemami.
Dlaczego to ma znaczenie dla rachunku
AI-SQL to wzorzec, w którym SQL rozszerza się o funkcje definiowane przez użytkownika, wywołujące model. Snowflake Cortex AISQL, funkcje AI w BigQuery, Databricks AI Functions i od niedawna MotherDuck obsługują go, zauważa Full Stack Data Lab. Filtr oznacza jedno wywołanie modelu na wiersz. Naiwne złączenie oznacza jedno wywołanie dla każdej pary wierszy. Jedno zapytanie może wygenerować setki tysięcy albo miliony wywołań.
Na tym tle ogólny obraz cen robi się bardziej mętny, nie czystszy. Wrześniowy indeks cen AICostBudget, zamrożony na odcięciu 2026-09-30 UTC, obejmuje 81 publicznych rekordów od 11 dostawców. Mediana ceny wejścia to 1,32 dolara za milion tokenów, mediana ceny wyjścia 6 dolarów. Mediana zniżki za wejście z cache to 90%, a mediana zniżki batchowej 50%. Ta sama strona ostrzega, że ceny katalogowe są danymi do planowania, nie fakturą.
Godzinowe stawki za karty GPU opowiadają podobną historię rozbieżności. GPUAdvisor, który śledzi 14 dostawców, ostatnio notował 1 października: A4000 16GB u Hyperstack za 0,15 dolara za godzinę, RTX 3090 u Lium za 0,22 dolara i L40S u Lium za 0,38 dolara, co oznacza 89% mniej niż w AWS. Podsumowanie serwisu jest dosadne: wyspecjalizowane chmury GPU oferują 2 do 4 razy niższą cenę za kartę niż hiperskalerzy, a spot może oszczędzić 60 do 70% na treningu z checkpointami.
FitMyLLM przelicza stawki godzinowe na koszt za milion tokenów i ranking się odwraca. Najtańsza zmierzona opcja to RTX 3060 12GB na Vast.ai za 0,261 dolara za milion tokenów. RTX 5090 na Vast.ai jest najszybszą zmierzoną kartą z 227 tokenami na sekundę, ale kosztuje 0,576 dolara za milion. Karty z centrów danych wypadają słabo w tym ujęciu pojedynczego strumienia i FitMyLLM tak to opisuje: H100 zarabia na swoją cenę, obsługując wiele strumieni naraz, a przy jednym strumieniu jej przepustowość w większości stoi bezczynnie.
Pytanie o efektywność, które siedzi pod spodem
Energia to kolejna oś. Praca przedstawiona na SOSP '26 28 września, autorstwa Prasoona Sinhy, Dimitriosa Liakopoulosa, Nathana Lemmy i Neerei J. Yadwadkar, przekonuje, że optymalizacja wyłącznie pod wykorzystanie GPU może podnieść zużycie energii. Ich system EnerTune deklaruje 1,4 do 2,3 razy niższe zużycie energii i 1,3 do 2,6 razy mniejszy pobór mocy niż najlepsze znane rozwiązania bazowe, przy zachowaniu celów wydajnościowych SLO.
Nie każdy dostawca goni tę samą krzywą. Mind-1 od MindOn, ogłoszony 30 września, celuje w opóźnienie wnioskowania dla robotów i skraca je z 82 ms do 32 ms. To inny róg tego samego problemu: co naprawdę kupuje godzina obliczeń.
Źródła
7- 01Hitting 1B tokens/minute on 1 GPU combining a query planner and inference engineEN
- 02Jointly optimizing SQL queries and LLM inference for up to 14x speedupsEN
- 03AI API pricing index - September 2026EN
- 04Cloud GPU Pricing - Cost Intelligence for H100, A100 & B200EN
- 05Cloud GPU prices for LLM inference - cost per million tokensEN
- 06Beyond Utilization: Energy-Conscious GPU Sharing for Inference ServingEN
- 07Mind-1: Cutting robot inference latency from 82ms to 32msEN
Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.
Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.
Komentarze
0- Brak komentarzy — bądź pierwszy.