Przejdź do treści
Czas na świecieEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal o AI i technologiiwydarzenia · analizy · wywiady · tło techniczne

Szukaj
NA ŻYWO
›

Quail twierdzi, że przetwarza miliard tokenów na minutę na jednym H100, a koszty wnioskowania się rozjeżdżają

Dwa nowe silniki wnioskowania obiecują kilkukrotny wzrost wydajności na tym samym sprzęcie GPU, podczas gdy nowa subskrypcja OpenAI za 500 dolarów i wrześniowy przegląd cen pokazują, że rynek ceny za token wciąż idzie w przeciwnych kierunkach.

AI i modeleNewsMarta ZielińskaOpublikowano: 30 września 20267 min czytaniaŹródła 10
Quail twierdzi, że przetwarza miliard tokenów na minutę na jednym H100, a koszty wnioskowania się rozjeżdżają

30 września Full Stack Data Lab opublikowało wpis opisujący Quail, silnik wnioskowania zbudowany specjalnie dla AI-SQL, rozszerzeń SQL, które pozwalają zapytaniom wywoływać duże modele językowe wiersz po wierszu. Projekt twierdzi, że przetwarza ponad 1 000 000 000 tokenów na minutę na jednym GPU H100 w ramach jednego zapytania z wieloma złączeniami, i że osiąga 1,84-krotne przyspieszenie w średniej geometrycznej względem vLLM na nowym benchmarku obciążeń AI-SQL.

To liczba z nagłówka. Jest też wąska.

Miliard tokenów na minutę pochodzi z jednego zapytania, które zespół opisuje jako takie, w którym "planowanie jest szczególnie ważne", a nie ze średniej. Szerszy wynik benchmarku, 1,84x, to ten, który autorzy przedstawiają jako wynik ogólny. Tego samego dnia Magnitude, firma z Y Combinator S25, udostępniła otwarty silnik wnioskowania, który, jak twierdzi, dostraja jądra do sprzętu użytkownika przed uruchomieniem modelu. W pliku README na GitHubie firma podaje do 2x szybciej niż llama.cpp, z dekodowaniem szybszym o 92% na Apple Metal i o 19% na CUDA, oraz o 27% mniejszym zużyciem pamięci na agenta. Projekt jest wydany na licencji Apache 2.0 i działa na Apple Silicon, NVIDIA, AMD albo wyłącznie na CPU.

Co właściwie porównują te liczby

Żadne z tych twierdzeń nie jest ogólnym stwierdzeniem o cenie wnioskowania. Magnitude porównuje się z llama.cpp, silnikiem ogólnego przeznaczenia, i swoją przewagę przypisuje ręcznie napisanym jądrom dla popularnych rodzin modeli z otwartymi wagami. Quail porównuje się z vLLM i przewagę przypisuje wspólnej optymalizacji planu zapytania SQL i silnika wnioskowania, dzięki czemu miliony powiązanych wywołań modelu dzielą pamięci podręczne prefiksów, zamiast przychodzić jako osobne żądania.

Wpis Full Stack Data Lab z 24 września opisuje problem kosztów wprost: funkcja AI w zapytaniu SQL ocenia swój prompt dla każdego wiersza, więc filtr wymaga jednego wywołania LLM na wiersz, a naiwne złączenie wymaga jednego wywołania dla każdej pary wierszy z obu wejść.

Zapytanie benchmarkowe zespołu, BIO-4, przetwarza ponad 5 000 długich raportów medycznych złączonych z 4 144 terminami reakcji. Autorzy twierdzą, że wysłanie tych wywołań do silnika ogólnego przeznaczenia jako osobnych żądań wiąże się z dużym kosztem. Ich rozwiązanie to planowanie na poziomie zapytania. Wpis Modal o tej samej pracy ujmuje ekonomię dosadniej: poniżej 6 centów za miliard tokenów na sprzęcie Modal dla zapytania o miliardzie TPM. To liczba samego dostawcy dla własnej platformy i dotyczy jednego kształtu zapytania, a nie reprezentatywnego obciążenia.

Różne zastosowania wnioskowania tworzą różne obciążenia wnioskowania, a AI-SQL nie jest tu wyjątkiem. Zapytanie takie jak powyższe może wygenerować miliony sekwencji po tysiące tokenów.

Ceny subskrypcji idą w drugą stronę

Po stronie konsumenckiej OpenAI poszło w przeciwnym kierunku. Na wtorkowym DevDay firma ogłosiła plan Pro 500 za 500 dolarów miesięcznie, o 300 dolarów więcej niż jej poprzedni najwyższy plan, według Business Insidera. Plan obejmuje dostęp do szybkich obliczeń "Ultrafast" dla GPT-6 Astra w ChatGPT Work i Codex, co według OpenAI daje 8-krotny wzrost szybkości w Codex, oraz najwyższy w ofercie limit zużycia.

OpenAI ponownie otworzyło też plan Pro za 200 dolarów, ale o połowę zmniejszyło limit obliczeń.

Limit wynosi teraz 10x planu Plus za 20 dolarów, wcześniej było to 20x, a liczba wiadomości w czacie GPT-6 Pro spada ze 200 do 100 tygodniowo. Thibault Sottiaux, prowadzący prace inżynieryjne nad Codex, napisał w poniedziałkowym wpisie na X, że zmiany dają w sumie połowę wydatków na API w dolarach względem poprzedniego planu. "Chciałem podzielić się tą zmianą z wyprzedzeniem, żebyście mogli ją zrozumieć, zanim zasypiemy was dobrymi wiadomościami" napisał, cytowany przez Business Insidera. Oba ruchy wskazują w przeciwne strony: tańszy limit za token na poziomie 200 dolarów i znacznie droższy plan na szczycie. Obecni subskrybenci Pro dostają jednorazowy kredyt w okresie przejściowym.

Osobny przegląd opublikowany 30 września przez AICostBudget obejmuje 81 publicznych rekordów cenowych od 11 dostawców i podaje medianę wejścia na 1,32 dolara i medianę wyjścia na 6 dolarów za milion tokenów. Zaobserwowany zakres w 69 rekordach ze skalarem wejścia to od 0,10 do 30 dolarów, a dla wyjścia od 0,10 do 180. Wyjście jest zwykle droższym składnikiem cennika, a mediana stosunku wyjścia do wejścia wynosi 5,0x.

Ten sam zbiór danych podaje medianę zniżki na wejście z pamięci podręcznej na poziomie 90% w 58 porównywalnych rekordach i medianę zniżki Batch na wejście na poziomie 50% w 44. To ta część rynku, gdzie cena efektywna może mocno odbiegać od ceny z cennika, i ta, którą naiwne porównanie kosztów zwykle pomija.

Sprzęt, energia i reszta stosu

Praca nad wydajnością nie dotyczy tylko tokenów na sekundę. Referat przedstawiony na SOSP '26 28 września opisuje EnerTune, system serwowania, który modeluje pobór mocy każdego modelu oraz modeli współlokowanych na wspólnych GPU, a następnie używa algorytmu pakowania z uwzględnieniem energii, żeby je umieszczać i konfigurować. Autorzy podają 1,4 do 2,3 razy niższe zużycie energii i 1,3 do 2,6 razy niższy pobór mocy niż w najlepszych punktach odniesienia, przy zachowaniu celów wydajnościowych SLO. Ich argument jest taki, że optymalizacja wyłącznie pod wykorzystanie może podnosić zużycie energii, co ma znaczenie, gdy rachunek nie jest tylko za token.

Po stronie robotyki MindOn przedstawiło 30 września Mind-1, model fizycznej AI, który według firmy skraca opóźnienie wnioskowania robota z 82 ms do 32 ms.

Firma zauważa, że przy prędkości efektora 3 m/s opóźnienie 10 ms odpowiada ruchowi około 3 cm, co wystarcza, żeby wpłynąć na precyzyjne chwytanie. To inny rynek niż wnioskowanie w centrach danych, ale ograniczenie to samo: opóźnienie i koszt wyznacza cały potok, nie sam model.

Operatorzy telekomunikacyjni stosują podobną logikę do kosztów infrastruktury. Light Reading podał 30 września, że StarHub i M1 rozmawiają o fuzji w Singapurze, gdzie już dzielą widmo 5G i sieć dostępu radiowego przez wspólną spółkę Antina. W Nowej Zelandii 2degrees i OneNZ zaproponowały połączenie swoich sieci radiowych w podmiot współwłasnościowy. Artykuł cytuje podany udział Singtel w singapurskim rynku komórkowym w czerwcu na poziomie 43%, wobec 22% dla M1, 21% dla StarHub i 14% dla Simba, i podaje, że połączone StarHub-M1 byłoby w podobnej skali co Singtel. Porozumienie 5G China Telecom i China Unicom jest cytowane jako największa taka umowa o współdzieleniu, obejmująca 1 500 000 stacji bazowych i deklarowane oszczędności 56 mld dolarów w nakładach inwestycyjnych.

Nie każda próba obniżenia kosztów przez dodanie mechanizmów działa. Wpis opublikowany 30 września przez Gokula Kogana opisuje, jak Pinecone usunęło kalkulator cen opłat za użycie po testach A/B. Odwiedzający, którzy nie widzieli kalkulatora, byli o 16% częściej skłonni się zarejestrować i o 90% częściej kontaktowali się z firmą, bez wzrostu liczby zgłoszeń do działu wsparcia w sprawach cen, według wpisu. W wewnętrznej ankiecie siedmiu z dziesięciu pracowników spodziewało się, że wersja z kalkulatorem wypadnie lepiej. Wniosek jest ostrzeżeniem dla każdego, kto buduje estymator kosztów dla usługi rozliczanej za token: szacunek mylący się o rząd wielkości może stracić klienta na dobre.

Złożone razem, dają obraz nie jednej spadającej ceny, a zestawu zakładów inżynieryjnych. Quail stawia na grupowanie zapytań ze świadomością zapytania. Magnitude stawia na kompilację jąder dla konkretnego urządzenia. EnerTune stawia na rozmieszczanie z uwzględnieniem mocy. OpenAI sprawdza, ile niewielka grupa ciężkich użytkowników zapłaci za szybkość, podczas gdy tańszy plan dostaje mniej obliczeń niż wcześniej. Jedyną liczbą stałą w całym zestawie jest kształt rachunku: tokeny wyjścia kosztują więcej niż wejścia, zniżki na pamięć podręczną i Batch są duże, a liczby z nagłówka dowolnego pojedynczego benchmarku opisują jedno zapytanie, na jednej maszynie, jednego dnia.

Komentarze 0

Źródła

10
  1. 01Jointly optimizing SQL queries and LLM inference for up to 14x speedupsEN
  2. 02Hitting 1B tokens/minute on 1 GPU combining a query planner and inference engineEN
  3. 03Launch HN: Magnitude (YC S25) - Self-optimizing inference engine for agentsEN
  4. 04ChatGPT's new plan costs $500 a monthEN
  5. 05AI API pricing index - September 2026EN
  6. 06Beyond Utilization: Energy-Conscious GPU Sharing for Inference ServingEN
  7. 07Mind-1: Cutting robot inference latency from 82ms to 32msEN
  8. 08Singapore, New Zealand operators seek partnerships to cut costsEN
  9. 09The pricing calculator made people more confused about pricingEN
  10. 10Driving An EV Now Costs Half As Much As Diesel, New Analysis ShowsEN

Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.

Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.

Marta Zielińska

Marta Zielińska

AI, modele i technologie

Marta Zielińska pisze o technologiach, AI i modelach oraz mediach i internecie, opierając się na dokumentacji, preprintach i danych z API, a nie na zapowiedziach producentów. Przy każdej publikacji sprawdza karty modeli, parametry treningowe i benchmarki, a liczby porównuje z niezależnymi testami i wynikami z repozytoriów. Rozmawia z badaczami i inżynierami, czeka na kolejne wydania modeli i zestawia ich działanie z wcześniejszymi wersjami. Prywatnie drukuje w 3D, naprawia stare komputery i sprawdza, jak modele uczą się na śmieciach z internetu. Nie publikuje wyników, których nie może odtworzyć na własnym sprzęcie.

Redakcja →

Komentarze

0
  1. Brak komentarzy — bądź pierwszy.

Dodaj komentarz

Komentarze są widoczne publicznie. Nie publikujemy wulgaryzmów, spamu i treści reklamowych.