Przejdź do treści
Czas na świecieEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal o AI i technologiiwydarzenia · analizy · wywiady · tło techniczne

Szukaj
NA ŻYWO
›

Quail i Magnitude atakują koszt wnioskowania z dwóch końców stosu

Dwa projekty open source opublikowane 30 września mierzą w tę samą nagrodę z różnych stron. Quail podaje ponad 4 000 000 000 tokenów przetworzonych na minutę na jednej H100, bo planuje zapytania SQL względem silnika wnioskowania. Magnitude twierdzi z kolei, że uruchamia otwarte modele do 2 razy szybciej niż llama.cpp, kompilując jądra na sprzęcie użytkownika.

AI i modeleAnalizaMarta ZielińskaOpublikowano: 30 września 20266 min czytaniaŹródła 6
Quail i Magnitude atakują koszt wnioskowania z dwóch końców stosu

Obietnica Modal i Full Stack Data Lab z Carnegie Mellon University jest konkretna. Quail, czyli QUery-Aware Inference Layer, przetworzył ponad 4 000 000 000 tokenów na minutę na jednej karcie H100 przy jednym zapytaniu z wieloma złączeniami, napisał zespół 30 września. To ponad 10 razy szybciej niż ich punkt odniesienia na vLLM na tym samym sprzęcie. W chmurze Modal wychodzi z tego mniej niż 6 centów za 4 000 000 000 tokenów.

Liczba jest tak duża, że wygląda na literówkę.

To nie jest twierdzenie o nowym modelu ani o nowym układzie. To twierdzenie o kolejności.

Co Quail właściwie robi

AI-SQL rozszerza SQL o funkcje, które wywołują model językowy dla każdego wiersza. Filtr potrzebuje jednego wywołania modelu na wiersz. Naiwne złączenie potrzebuje jednego wywołania dla każdej pary wierszy z dwóch tabel. Blog Full Stack Data Lab, opublikowany 24 września i udostępniony ponownie przez Modal, przechodzi przez zapytanie testowe o nazwie BIO-4: 5 000 raportów medycznych złączonych z 4 144 terminami reakcji, dwa razy. Arytmetyka laboratorium stawia teoretyczne dno dla tego zapytania na 894 sekundy, czyli 14,91 minuty, przy założeniu szczytowej wydajności GPU, pełnego nakładania się pracy CPU i GPU oraz nieograniczonego miejsca na trzymany KV cache. Uruchomienie vLLM 0.26.0 z Qwen3 4B FP8 na jednej H100 zajęło 6,84 godziny, czyli 27,55 razy więcej niż ta dolna granica. Blog przypisuje tę różnicę dwóm rzeczom: narzutowi hosta, gdzie CPU planuje żądania, podczas gdy H100 stoi bezczynnie, oraz temu, co nazywa żalem KV, gdzie vLLM wyrzuca pamięć klucz-wartość, której potrzebuje później. Na BIO-4 przy współczynniku skali 1.0 laboratorium podaje, że vLLM przetworzył 174 600 000, a zdanie urywa się w tekście, który mamy.

Poprawka Quaila polega na użyciu samej struktury zapytania jako sygnału do planowania. Jeśli silnik zna plan, może uporządkować żądania tak, żeby ponownie użyć pamięci podręcznej i usuwać ją świadomie, a nie reaktywnie. Wpis na blogu Modal opisuje to jako drobną modyfikację kaskadowej uwagi w stylu Hydragen i przypisuje zasługę współpracy badaczy wnioskowania z Modal z badaczami baz danych z CMU.

Na nowo wydanym teście AI-SQL Quail działa 1,84 razy szybciej niż vLLM przy średniej geometrycznej po zadaniach, co jest dużo mniejszą liczbą niż nagłówek o miliardach tokenów. Wpis Modala mówi, że test zawiera dwa zapytania zaprojektowane po to, żeby pokazać, gdzie wnioskowanie AI-SQL wciąż wymaga pracy. To przydatne ujawnienie: liczba 10 razy to najlepszy przypadek na jednym zapytaniu, a nie ogólne przyspieszenie.

Magnitude idzie w drugą stronę

Magnitude, firma z Y Combinator S25, opublikowała swoje repozytorium 30 września z innym argumentem. Jej silnik wnioskowania kompiluje i dostraja jądra na rzeczywistym urządzeniu przed uruchomieniem modelu, zamiast dostarczać jądra wstępnie skompilowane dla szerokich klas sprzętu. README obiecuje do 2 razy szybciej niż llama.cpp, z dekodowaniem szybszym o 92 procent na Metal i o 19 procent na CUDA. Twierdzi też, że zużywa o 27 procent mniej pamięci na agenta.

Obsługiwany sprzęt jest celowo szeroki: Apple Silicon, NVIDIA, AMD albo sam CPU. Projekt podaje, że nie ma stałego minimum i że mniejsze maszyny uruchamiają mniejsze modele. Dostarczany jest jako aplikacja desktopowa z CLI, łączy się z Pi, OpenCode, Hermes, OpenClaw, Codex, Claude Code, Oh My Pi i Cline, a dla reszty wystawia API zgodne z OpenAI. Licencja Apache 2.0, działa lokalnie.

Te dwa projekty nie są konkurentami. Quail celuje w warstwę analitycznego SQL, gdzie planista zapytań generuje miliony małych, ustrukturyzowanych wywołań modelu. Magnitude celuje w laptopa programisty, gdzie jeden agent działa na jednym modelu, a ograniczeniem jest pamięć i szybkość dekodowania. Oba jednak wskazują na ten sam problem kosztowy z przeciwnych końców: wnioskowanie jest drogie, bo silniki ogólnego przeznaczenia nie wiedzą, co obciążenie zrobi za chwilę.

Co mówią dane o cenach

Wrześniowy indeks cen AICostBudget, zamrożony na 30 września czasu UTC na 81 publicznych rekordach od 11 dostawców, daje kontekst rynkowy. W 69 rekordach z aktualnym skalarem tokenów wejściowych ceny wahają się od 0,10 do 30 dolarów za 1 000 000 tokenów. Ceny wyjściowe wahają się od 0,10 do 180 dolarów. Mediana ceny wejściowej wynosi 1,32 dolara, mediana ceny wyjściowej 6 dolarów, a mediana stosunku wyjścia do wejścia to 5,0 razy.

Indeks zwraca uwagę na coś, co łatwo przegapić w rankingu najtańszego modelu. W 58 porównywalnych rekordach mediana zniżki za pamięć podręczną wejścia wynosi 90 procent. W 44 rekordach obsługujących tryb wsadowy mediana zniżki wsadowej wynosi 50 procent. Porównanie obciążeń, które pomija którykolwiek z tych trybów, zestawia cenniki, których nikt nie płaci.

Mediany dostawców w indeksie, które według metodologii nie są ważone użyciem ani udziałem w rynku: Google Gemini po 0,75 dolara wejścia i 4,125 dolara wyjścia w 14 wycenionych rekordach, Mistral AI po 0,20 i 0,60 dolara w 7, DeepSeek po 0,30 i 1,20 dolara w 3, OpenAI po 2 i 11 dolarów w 18, xAI po 1,25 i 2,50 dolara w 9, Cohere po 1,50 i 5,75 dolara w 2, Anthropic po 5 i 25 dolarów w 13 oraz Moonshot AI po 0,95 i 4 dolarów w 3. AWS, Azure i Google Cloud wnoszą po jednym rekordzie bez wartości liczbowej.

Strona sprzętowa

Wydajność sprzętu jest atakowana równolegle. EnerTune, artykuł opublikowany w materiałach SOSP '26 28 września, przekonuje, że optymalizacja klastrów GPU wyłącznie pod wykorzystanie może zwiększyć zużycie energii. Autorzy, Prasoon Sinha, Dimitrios Liakopoulos, Nathan Lemma i Neeraja J. Yadwadkar, proponują modele analityczne wydajności i mocy dla poszczególnych modeli oraz poboru mocy modeli współlokowanych na współdzielonych GPU, które zasilają algorytm pakowania z uwzględnieniem energii. Raportują dotrzymanie SLO wydajności przy jednoczesnym cięciu energii 1,4 do 2,3 razy i poboru mocy 1,3 do 2,6 razy względem najlepszych dostępnych punktów odniesienia.

To inna dźwignia niż u Quaila i wiąże się z tym samym zastrzeżeniem: wyniki testów, nie wdrożenia produkcyjne. Artykuł wprost zauważa, że profilowanie każdego modelu w setkach konfiguracji jest zaporowo drogie w skali, dlatego używa modeli analitycznych zamiast tego.

Tymczasem doświadczenie Pinecone z własnym kalkulatorem cen, opisane przez Gkogana 30 września, przypomina, że zamieszanie wokół kosztów to nie tylko problem obliczeń. Firma usunęła kalkulator po teście A/B, który wykazał, że odwiedzający, którzy go nie widzieli, mieli o 16 procent większą szansę na rejestrację i o 90 procent większą szansę na kontakt, bez wzrostu liczby zgłoszeń do wsparcia w sprawie cen. Siedmiu na dziesięciu pracowników przewidywało, że wygra wersja z kalkulatorem.

Wspólny wątek Quaila, Magnitude i EnerTune jest taki, że największe zyski płyną z wiedzy o obciążeniu, czy to planie zapytania, konkretnym układzie, czy wzorcu współlokowania. Silniki ogólnego przeznaczenia zostawiają tę informację na stole. Żaden z trzech projektów nie ustalił jeszcze, czy zyski przetrwają kontakt z chaotycznym ruchem produkcyjnym, a tylko Magnitude dostarcza coś, co programista może zainstalować dziś.

Komentarze 0

Źródła

6
  1. 01Hitting 1B tokens/minute on 1 GPU combining a query planner and inference engineEN
  2. 02Jointly optimizing SQL queries and LLM inference for up to 14x speedupsEN
  3. 03Launch HN: Magnitude (YC S25) - Self-optimizing inference engine for agentsEN
  4. 04AI API Pricing Index - September 2026EN
  5. 05Beyond Utilization: Energy-Conscious GPU Sharing for Inference ServingEN
  6. 06The pricing calculator made people more confused about pricingEN

Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.

Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.

Marta Zielińska

Marta Zielińska

AI, modele i technologie

Marta Zielińska pisze o technologiach, AI i modelach oraz mediach i internecie, opierając się na dokumentacji, preprintach i danych z API, a nie na zapowiedziach producentów. Przy każdej publikacji sprawdza karty modeli, parametry treningowe i benchmarki, a liczby porównuje z niezależnymi testami i wynikami z repozytoriów. Rozmawia z badaczami i inżynierami, czeka na kolejne wydania modeli i zestawia ich działanie z wcześniejszymi wersjami. Prywatnie drukuje w 3D, naprawia stare komputery i sprawdza, jak modele uczą się na śmieciach z internetu. Nie publikuje wyników, których nie może odtworzyć na własnym sprzęcie.

Redakcja →

Komentarze

0
  1. Brak komentarzy — bądź pierwszy.

Dodaj komentarz

Komentarze są widoczne publicznie. Nie publikujemy wulgaryzmów, spamu i treści reklamowych.