Przejdź do treści
Czas na świecieEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal o AI i technologiiwydarzenia · analizy · wywiady · tło techniczne

Szukaj
NA ŻYWO
›

Wyścig o koszt wnioskowania: Quail twierdzi, że przetwarza miliard tokenów na minutę, Magnitude dostraja jądra na urządzeniu

Dwa zespoły inżynierskie ogłosiły 30 września, że koszt uruchamiania otwartych modeli da się obniżyć, przepisując sposób, w jaki silniki wnioskowania obsługują sprzęt i strukturę zapytań, a nie czekając na tańsze procesory graficzne.

AI i modeleAnalizaMarta ZielińskaOpublikowano: 30 września 20263 min czytaniaŹródła 6
Wyścig o koszt wnioskowania: Quail twierdzi, że przetwarza miliard tokenów na minutę, Magnitude dostraja jądra na urządzeniu

Modal i Full Stack Data Lab Uniwersytetu Carnegie Mellon podały 30 września, że Quail, zbudowany wspólnie silnik wnioskowania, przetworzył ponad 1 000 000 000 tokenów na minutę na jednym GPU H100 przy jednym zapytaniu AI-SQL z wieloma złączeniami. To ponad 10x więcej niż ich punkt odniesienia na vLLM na tym samym sprzęcie, według wpisu na blogu Modal, i daje poniżej 6 centów za 1 000 000 000 tokenów w chmurze Modal.

Twierdzenie opiera się na konkretnym obciążeniu. AI-SQL rozszerza zwykły SQL o funkcje, które wywołują model językowy, więc filtr może wywołać model raz na wiersz, a złączenie raz na parę wierszy. W tekście technicznym Full Stack Data Lab opisano zapytanie testowe BIO-4 na 5 000 raportów medycznych i 4 144 terminach reakcji. Uruchomienie go na vLLM 0.26.0 z Qwen3 4B (4 000 000 000 parametrów) w formacie FP8 na jednym H100 zajęło 6,84 godziny przy współczynniku skali 1,0. Autorzy wyliczają, że to 27,55x wobec szacunku z modelu roofline wynoszącego 14,91 minuty.

Praca nad silnikiem, nie nad krzemem

Ta różnica jest argumentem. Autorzy przypisują stratę narzutowi hosta, gdzie procesor planuje żądania, podczas gdy H100 stoi bezczynnie, oraz temu, co nazywają żalem KV: vLLM wyrzuca pamięć kluczy i wartości, której potrzebował później. Blog laboratorium podaje, że zapytanie przetworzyło 174 600 000 tokenów zmarnowanej pracy KV. Quail zamiast tego przyjmuje plan zapytania jako dane wejściowe, dzięki czemu może porządkować żądania tak, by pamięć podręczną wykorzystać ponownie i usuwać ją świadomie.

Oba teksty nie kładą nacisku na to samo. Modal stawia wynik wokół jednego najlepszego zapytania i liczby 1 000 000 000 tokenów na minutę. Full Stack Data Lab podaje z kolei, że Quail działa 1,84x szybciej niż vLLM, gdy uśrednić geometrycznie wyniki na nowym teście AI-SQL, w tym na dwóch zapytaniach, które autorzy zaprojektowali, by pokazać pozostałe słabości. Oba zestawy liczb pochodzą z tej samej współpracy, więc nie są niezależnym potwierdzeniem.

Tego samego dnia Magnitude, firma z Y Combinator S25, otworzyła kod swojego silnika wnioskowania na licencji Apache 2.0. Jej repozytorium na GitHubie twierdzi, że otwarte modele działają do 2x szybciej niż llama.cpp, z dekodowaniem szybszym o 92% na Metal i o 19% na CUDA. Mechanizm jest inny niż u Quaila: Magnitude kompiluje i dostraja jądra na urządzeniu użytkownika przed uruchomieniem modelu, celując w Apple Silicon, Nvidię, AMD albo zwykły procesor. Repozytorium podaje też o 27% mniejsze zużycie pamięci na agenta i współdzielenie pamięci podręcznej prefiksów między równoległymi sesjami.

Tłem obu premier jest rynek, na którym ceny katalogowe nie spadają równomiernie. Wrześniowe zestawienie AICostBudget, zamrożone 30 września na godzinę UTC, obejmuje 81 publicznych rekordów cenowych u 11 dostawców. Mediana wejścia wynosi 1,32 dol. za milion tokenów, a mediana wyjścia 6 dol., czyli stosunek 5,0x. Zniżka za wejście z pamięci podręcznej wynosi medianę 90%, a ceny wsadowe 50%. Zwykle droższym elementem jest wyjście, nie przyjmowanie promptu.

Prace na poziomie sprzętu mierzy się też energią, a nie wykorzystaniem. Opublikowany 28 września artykuł z SOSP '26, Beyond Utilization, przekonuje, że optymalizacja multipleksowania GPU wyłącznie pod wykorzystanie może podnieść zużycie energii. Ich system EnerTune korzysta z analitycznych modeli poboru mocy dla poszczególnych modeli i dla modeli współdzielących sprzęt. Autorzy raportują spadek zużycia energii od 1,4x do 2,3x i spadek mocy od 1,3x do 2,6x wobec nienazwanych najlepszych rozwiązań, przy zachowaniu celów wydajności.

Jedna przestroga przychodzi z zupełnie innego miejsca. Gaurav Kogan z Pinecone opisał 30 września, jak firma usunęła swój kalkulator cen opartych na zużyciu po teście A/B. Odwiedzający, którzy go nie widzieli, o 16% częściej się rejestrowali i o 90% częściej nawiązywali kontakt, a liczba zgłoszeń do działu cen nie wzrosła, napisał. Wniosek da się przenieść: narzędzie, które ma wyjaśniać koszt, może wypaczać decyzję, do której powstało.

Komentarze 0

Źródła

6
  1. 01Hitting 1B tokens/minute on 1 GPU combining a query planner and inference engineEN
  2. 02Building an Ultra-High Throughput AI-SQL EngineEN
  3. 03Launch HN: Magnitude (YC S25) – Self-optimizing inference engine for agentsEN
  4. 04AI API pricing index - September 2026EN
  5. 05Beyond Utilization: Energy-Conscious GPU Sharing for Inference ServingEN
  6. 06The pricing calculator made people more confused about pricingEN

Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.

Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.

Marta Zielińska

Marta Zielińska

AI, modele i technologie

Marta Zielińska pisze o technologiach, AI i modelach oraz mediach i internecie, opierając się na dokumentacji, preprintach i danych z API, a nie na zapowiedziach producentów. Przy każdej publikacji sprawdza karty modeli, parametry treningowe i benchmarki, a liczby porównuje z niezależnymi testami i wynikami z repozytoriów. Rozmawia z badaczami i inżynierami, czeka na kolejne wydania modeli i zestawia ich działanie z wcześniejszymi wersjami. Prywatnie drukuje w 3D, naprawia stare komputery i sprawdza, jak modele uczą się na śmieciach z internetu. Nie publikuje wyników, których nie może odtworzyć na własnym sprzęcie.

Redakcja →

Komentarze

0
  1. Brak komentarzy — bądź pierwszy.

Dodaj komentarz

Komentarze są widoczne publicznie. Nie publikujemy wulgaryzmów, spamu i treści reklamowych.