Przejdź do treści
Czas na świecieEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal o AI i technologiiwydarzenia · analizy · wywiady · tło techniczne

Szukaj
NA ŻYWO
›

Koszty inferencji spadają. Quail i Magnitude stawiają na tańszą obsługę zapytań

Modal i laboratorium Full Stack Data Lab z Carnegie Mellon poinformowały 30 września, że ich silnik Quail przetworzył ponad 4 000 000 000 tokenów na minutę na jednym GPU H100. To ponad 10 razy więcej niż w ich bazowym pomiarze vLLM, przy koszcie poniżej 6 centów za 4 000 000 000 tokenów na platformie Modal.

AI i modeleWyjaśnienieAnna KaczmarekOpublikowano: 30 września 20264 min czytaniaŹródła 6
Koszty inferencji spadają. Quail i Magnitude stawiają na tańszą obsługę zapytań

Ta deklaracja pojawiła się tego samego dnia, w którym wspierany przez Y Combinator projekt Magnitude udostępnił otwarty silnik inferencji, który sam dostraja swoje jądra obliczeniowe na sprzęcie użytkownika. Oba projekty forsują tę samą myśl: model nie jest już drogą częścią. Droga jest warstwa obsługi zapytań.

Quail to wspólne dzieło badaczy inferencji z Modal i badaczy baz danych z Full Stack Data Lab na Carnegie Mellon. Oba zespoły opisały je w poście z 30 września na blogu Modal oraz w towarzyszącym tekście laboratorium. Problem, który atakują, to AI-SQL, gdzie zapytania SQL wywołują modele językowe wiersz po wierszu. Pojedynczy filtr wymaga jednego wywołania modelu na wiersz. Naiwny join wymaga jednego wywołania dla każdej pary wierszy. Własne zapytanie testowe laboratorium, BIO-4, filtruje 5 000 raportów medycznych względem 4 144 terminów działań niepożądanych, a następnie łączy je dwukrotnie. W poście oszacowano graniczny czas wykonania na 894 sekundy, czyli 14,91 minuty. Liczba pochodzi z modelu roofline, który zakłada szczytową przepustowość GPU, pełne nakładanie się pracy CPU i GPU oraz nieograniczoną przestrzeń KV cache.

Uruchomienie vLLM 0.26.0 z Qwen3 4B FP8 na jednym H100 przy współczynniku skali 1,0 zajęło 6,84 godziny, podaje laboratorium. To 27,55 razy więcej niż idealne oszacowanie.

Dwie przyczyny: narzut hosta, gdzie CPU planuje żądania, podczas gdy GPU stoi bezczynnie, oraz co nazywają żalem KV, gdy vLLM wyrzuca stan kluczy i wartości, którego znów potrzebuje. Laboratorium doliczyło się 174 600 000 zmarnowanych tokenów w tym przebiegu.

Na jednym zapytaniu z wieloma joinami, gdzie planowanie ma szczególne znaczenie, Quail przekracza 4 000 000 000 tokenów przetwarzanych na minutę na GPU H100 (TPM/GPU), ponad 10 razy szybciej niż nasz bazowy vLLM na tym samym sprzęcie.

Post Modal przypisuje zwycięstwo znajomości struktury zapytania z góry. Dzięki temu silnik może lepiej uporządkować żądania pod kątem buforowania i usuwania stanu KV. Wymagało to modyfikacji uwagi kaskadowej w stylu Hydragen. W całym zestawie testowym Quail działa 1,84 razy szybciej niż vLLM, licząc średnią geometryczną. Wliczono dwa zapytania, które autorzy zaprojektowali, żeby pokazać, gdzie inferencja AI-SQL wciąż wymaga pracy.

Magnitude stawia na twój własny sprzęt

Magnitude, notowany jako spółka YC S25, poszedł przeciwną drogą do tego samego problemu kosztów. Jego README na GitHubie, zaktualizowane 30 września, opisuje silnik, który kompiluje i dostraja jądra na urządzeniu użytkownika przed uruchomieniem modelu. Nie dostarcza gotowych, skompilowanych jąder dla klas sprzętu. Projekt twierdzi, że jest do 2 razy szybszy niż llama.cpp, z dekodowaniem szybszym o 92% na Metal i o 19% na CUDA, oraz zużywa o 27% mniej pamięci na agenta. Działa na Apple Silicon, NVIDIA, AMD albo na samym CPU. Łączy się z agentami, między innymi Pi, OpenCode, Hermes, Codex i Claude Code, jednym kliknięciem, a licencja to Apache 2.0. Prompty, pliki i modele zostają lokalnie, czytamy w README.

Oba projekty gonią tę samą ekonomię.

Opublikowany 30 września indeks cen od AICostBudget podaje medianę ceny wejścia na 1,32 dolara za milion tokenów i medianę ceny wyjścia na 6 dolarów. Obejmuje 81 publicznych rekordów od 11 dostawców. Wyjście kosztuje około pięć razy więcej niż wejście przy medianie. Ten sam zrzut danych pokazał medianę zniżki za buforowane wejście na poziomie 90% w 58 porównywalnych rekordach i medianę zniżki za przetwarzanie wsadowe na poziomie 50% w 44. To szczegół, który ma znaczenie dla każdego, kto uruchamia AI-SQL. Obciążenia, które da się przetwarzać wsadowo i buforować, płacą ułamek ceny katalogowej. Te, których nie da się, płacą pełną stawkę.

Rachunek przychodzi gdzie indziej

Energia to druga liczba w tym pokoju.

Praca przedstawiona na SOSP '26 28 września przez Prasoona Sinhę, Dimitriosa Liakopoulosa, Nathana Lemmę i Neeraję J. Yadwadkar przekonuje, że optymalizowanie klastrów GPU wyłącznie pod kątem wykorzystania może podnieść zużycie energii. Ich system EnerTune korzysta z analitycznych modeli wydajności i mocy dla poszczególnych modeli, w tym poboru mocy modeli współlokowanych na jednym GPU, oraz z algorytmu pakowania odpornego na energię. Autorzy raportują od 1,4 do 2,3 razy niższą energię i od 1,3 do 2,6 razy niższy pobór mocy niż najlepsze bazowe rozwiązania, przy zachowaniu celów wydajnościowych.

Autorzy Quaila nie twierdzą, że ich test cokolwiek rozstrzyga. Mówią, że dwa zapytania zaprojektowano, żeby pokazać, gdzie inferencja AI-SQL wymaga poprawy. Wynik 1,84 razy przy średniej geometrycznej traktują jako punkt wyjścia, nie sufit. Idealne 14,91 minuty z laboratorium pozostaje ideałem: żadna implementacja nie spełni wszystkich jego założeń.

Jeszcze jeden punkt danych, z drugiej strony sporu o ceny.

Post Gagana Kogana z 30 września, relacjonujący pracę w Pinecone, opisuje test A/B. Usunięcie kalkulatora cen opartego na zużyciu ze strony z cennikiem sprawiło, że odwiedzający o 16% częściej się rejestrowali i o 90% częściej kontaktowali z firmą, bez wzrostu liczby zgłoszeń do działu wsparcia cen. Siedmiu na dziesięciu pracowników przewidywało, że kalkulator wygra. Przejrzystość kosztów okazuje się osobnym rodzajem złożoności.

Dla kupujących praktyczny wniosek jest węższy niż nagłówki. Cena za token spada dla obciążeń ustrukturyzowanych, które da się buforować, a dostawcy publikują progi, które ten spadek umożliwiają. Infrastruktura pod spodem, GPU, energia i planowanie między nimi, to tam rozgrywa się teraz walka o koszty.

Komentarze 0

Źródła

6
  1. 01Building an Ultra-High Throughput AI-SQL EngineEN
  2. 02Quail: Speeding up AI-SQL by jointly optimizing query planner and inference engineEN
  3. 03magnitudedev/magnitude: Open source inference engine for agentsEN
  4. 04AI API Pricing Index, September 2026EN
  5. 05Beyond Utilization: Energy-Conscious GPU Sharing for Inference ServingEN
  6. 06The pricing calculator made people more confused about pricingEN

Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.

Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.

Anna Kaczmarek

Anna Kaczmarek

AI, modele i technologie

Anna Kaczmarek pisze o technologiach, AI i modelach oraz mediach i internecie, opierając się na dokumentacji, repozytoriach i danych źródłowych, a nie na komunikatach prasowych. Przy testach modeli sprawdza karty techniczne, parametry wejściowe i liczy wyniki na tych samych zbiorach, zamiast powtarzać liczby od producentów. Czeka na premiery API i aktualizacje wag, rozmawia z inżynierami oraz porównuje wersje modeli pod kątem kosztów i opóźnień. Prywatnie self-hostuje usługi i konfiguruje sieci domowe, więc do redakcji wnosi praktykę z własnego serwera. Nie publikuje zapowiedzi ani parametrów, których nie może odtworzyć na własnym środowisku.

Redakcja →

Komentarze

0
  1. Brak komentarzy — bądź pierwszy.

Dodaj komentarz

Komentarze są widoczne publicznie. Nie publikujemy wulgaryzmów, spamu i treści reklamowych.