Przejdź do treści
Czas na świecieEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal o AI i technologiiwydarzenia · analizy · wywiady · tło techniczne

Szukaj
NA ŻYWO
›

Koszt inferencji trafia do centrum stosu AI. Nowe silniki już są

Magnitude, startup z akceleratora Y Combinator S25, opublikował 30 września na GitHubie swój silnik inferencji o otwartym kodzie. Firma twierdzi, że modele otwarte działają na nim do 2 razy szybciej niż na llama.cpp przy tym samym sprzęcie.

AI i modeleAnalizaMarta ZielińskaOpublikowano: 30 września 20267 min czytaniaŹródła 9
Koszt inferencji trafia do centrum stosu AI. Nowe silniki już są

Magnitude udostępnił repozytorium 30 września o 17:37 UTC. Oferta jest wąska: silnik inferencji dla agentów, który kompiluje i dostraja kernele na urządzeniu, na którym pracuje. Firma podaje, że daje to do 2 razy lepszą wydajność niż llama.cpp. Dekodowanie ma być szybsze o 92% na backendzie Metal firmy Apple i o 19% na CUDA.

To benchmark producenta. Nikt spoza Magnitude jeszcze go nie powtórzył. Repozytorium nie wymienia modeli, długości promptów ani rozmiarów batcha, na których powstały te liczby. Dopóki ktoś niezależny nie uruchomi silnika, te 2 razy należy traktować jako liczbę marketingową.

Ważniejsze jest, w co firma celuje. Magnitude twierdzi, że dostarcza aplikację desktopową, która łączy się z agentami, których ludzie już używają. Wymienia Pi, OpenCode, Hermes, OpenClaw, Codex, Claude Code, Oh My Pi i Cline. Wszystko inne przechodzi przez API zgodne z OpenAI. Według repozytorium silnik działa na Apple Silicon, kartach NVIDIA lub AMD albo na samym procesorze. Magnitude twierdzi też, że zużywa o 27% mniej pamięci na agenta i zwalnia ją, gdy agenci kończą pracę. Sesje mają współdzielić cache prefiksów, żeby uniknąć spowolnień przy równoczesnym obciążeniu.

Ten sam tydzień, inna warstwa stosu

Dwie godziny później, tego samego 30 września, pojawiło się drugie wydanie. Full Stack Data Lab opublikował wpis o Quail, warstwie inferencji świadomej zapytań, zbudowanej z Modalem. Modal zamieścił własny tekst o 17:38 UTC tego samego dnia. Quail bierze na cel AI-SQL, czyli praktykę wywoływania modeli językowych wiersz po wierszu z wnętrza zapytań SQL.

Liczby są duże. Full Stack Data Lab podaje, że jedno zapytanie może wygenerować setki tysięcy albo miliony wywołań modelu. Funkcja AI ocenia jeden prompt na wiersz, a naiwne złączenie ocenia jeden prompt na parę wierszy. Na benchmarkowym zapytaniu BIO-4, które łączy 5 000 raportów medycznych z 4 144 terminami reakcji, laboratorium przechodzi przez koszt wysłania tych wywołań do silnika ogólnego przeznaczenia, takiego jak vLLM, jako osobnych żądań.

Wpis Modala podaje wynik. Quail przetwarza ponad miliard tokenów na minutę na jeden GPU H100 przy jednym zapytaniu z wieloma złączeniami, ponad 10 razy szybciej niż bazowy vLLM na tym samym sprzęcie, za mniej niż 6 centów za miliard tokenów na Modal. W nowo opublikowanym benchmarku Modal podaje, że Quail działa 1,84 razy szybciej niż vLLM, po uśrednieniu geometrycznym po zadaniach. Zastrzega, że zestaw obejmuje dwa zapytania pokazujące, gdzie inferencja AI-SQL wciąż wymaga pracy.

Widzę to jako punkt na krzywej pareto optymalnej dla LLM w reżimie, w którym ujawnił się duży ukryty popyt (brak myślenia, pojedynczy token, akceptowalna inteligencja przy niskim opóźnieniu), a w który zainwestowano zbyt mało z powodu wyścigu o wyższą inteligencję. Karpathy-san, o Jev

Cytat pochodzi z wpisu Modala, gdzie przypisano go Karpathy'emu, komentującemu model Jev firmy TypeSafe AI. Argument jest taki, że duża część popytu na inferencję leży na tanim końcu z niskim opóźnieniem. Był obsługiwany w niedostatecznym stopniu, bo laboratoria goniły za zdolnościami frontierowymi. Magnitude i Quail to zakłady na tę lukę.

Żaden z tych tekstów nie przeszedł recenzji. Oba to firmowe blogi towarzyszące wydaniom kodu. Podstawy porównania, jedna z llama.cpp, druga z vLLM, wybrali sami autorzy. Kierunek zmian jest spójny, ale wielkości nie są rozstrzygnięte.

Co mówi prąd i cennik

Prace naukowe opublikowane w tym tygodniu wskazują na pokrewny problem, którego szybsze tokeny same nie rozwiążą. Artykuł przedstawiony na SOSP '26, datowany na 28 września i odnotowany w materiałach ACM, przekonuje, że optymalizacja klastrów GPU wyłącznie pod kątem wykorzystania może zwiększyć zużycie energii. Autorzy, Prasoon Sinha, Dimitrios Liakopoulos, Nathan Lemma i Neeraja J. Yadwadkar, opisują system EnerTune. Modeluje on wydajność i moc każdego modelu analitycznie, zamiast profilować każdą konfigurację, i odpowiednio upycha modele na współdzielonych GPU. Autorzy podają, że zużycie energii spada 1,4 do 2,3 razy, a pobór mocy 1,3 do 2,6 razy względem najlepszych dostępnych podstaw, przy zachowaniu celów wydajnościowych.

Jest jeszcze strona cennika. AICostBudget opublikował 30 września wrześniowy indeks cen. To zamrożony zrzut z odcięciem 2026-09-30 UTC, obejmujący 81 publicznych rekordów cenowych od 11 dostawców. Mediana ceny wejścia w 69 rekordach to 1,32 dolara za milion tokenów, a mediana ceny wyjścia to 6 dolarów za milion, czyli stosunek 5,0 razy. Zwykle większym składnikiem rachunku jest cena wyjścia, nie przyjmowanie promptu.

Ten sam indeks podważa częste uproszczenie w dyskusjach o kosztach. W 58 porównywalnych rekordach z cache'owanym wejściem mediana rabatu wynosi 90%. W 44 rekordach z ceną batchową mediana rabatu wynosi 50%. Każde porównanie obciążeń, które pomija cache'owanie i ceny batchowe, opisuje rachunek, którego większość klientów nigdy nie zobaczy, i indeks mówi to wprost. Po stronie dostawców mediany zaczynają się od Mistral AI: 0,20 dolara wejścia i 0,60 dolara wyjścia za milion tokenów w 7 rekordach, oraz DeepSeek: 0,30 i 1,20 w 3 rekordach. Idą w górę do Anthropic: 5 i 25 dolarów w 13 rekordach, i OpenAI: 2 i 11 dolarów w 18 rekordach. To mediany publicznych cen katalogowych, nie ceny efektywne po rabatach. Zbiory różnią się liczebnością, więc nie jest to ranking modeli jeden do jednego.

Szybkość to tylko jeden z kosztów

Poza centrum danych opóźnienie ma wymierny koszt fizyczny. MindOn przedstawił 30 września swój model fizyczny Mind-1. Firma podaje, że model skraca opóźnienie inferencji robota z 82 ms do 32 ms i sprowadza zadania manipulacji do czasów cyklu na poziomie człowieka. Najbardziej użyteczne jest wyjaśnienie firmy, dlaczego to ma znaczenie. Przy prędkości efektora 3 metry na sekundę 10 ms opóźnienia odpowiada mniej więcej 3 cm ruchu, dość, żeby wpłynąć na precyzyjny chwyt albo wsunięcie. MindOn wskazuje też problem z danymi. Duża część danych o manipulacji robotami pochodzi z teleoperacji wolniejszej niż naturalny ruch człowieka, więc modele uczą się wolniejszego tempa razem z zadaniem.

W tym samym oknie jest historia kosztów adresowana do konsumenta. CleanTechnica poinformowała 29 września, że analiza Transport & Environment stawia koszty eksploatacji auta elektrycznego na mniej niż połowę kosztów diesla na kilometr w Europie. Analiza przyjmuje średnie zużycie 6,9 litra na 100 km dla diesla i 20,2 kWh na 100 km dla auta bateryjnego, przy cenie prądu 0,343 euro za kWh. Antony Froggatt z T&E powiedział we wpisie, że kierowcy diesli płacą za bak o 32 euro więcej niż na początku roku. Ostrzegł przed ryzykiem dostaw, gdyby USA zablokowały eksport diesla. T&E zaznacza, że jego szacunek kosztu ładowania to prawdopodobnie górna granica.

Sama strona z cennikiem też może być kosztem. Gokhan Kogan opublikował 30 września relację z pierwszej osoby o swoim czasie w Pinecone. Pisze, że kalkulator zużycia na stronie z cennikiem dawał szacunki zawyżone nawet 1 000 razy po jednym błędnie zinterpretowanym wejściu. W teście A/B, pisze, odwiedzający, którzy nie widzieli kalkulatora, zapisywali się o 16% chętniej i o 90% chętniej kontaktowali się z firmą. Liczba zgłoszeń do wsparcia w sprawie cen nie wzrosła. Zauważa też, że 7 na 10 pracowników ankietowanych wewnętrznie spodziewało się lepszych wyników wersji z kalkulatorem. To doświadczenie jednej firmy, nie ogólne prawo, ale postrzegany koszt i rzeczywisty koszt łatwo się rozjeżdżają.

Ekonomia przepustowości zmienia się też w warstwie sieci. Light Reading poinformował 30 września, że StarHub i M1 negocjują fuzję w Singapurze. Już teraz współdzielą widmo 5G i sieć dostępu radiowego przez wspólną spółkę Antina. Według doniesienia Singtel miał w czerwcu 43% rynku komórkowego, M1 22%, StarHub 21%, a Simba 14%. W Nowej Zelandii 2degrees i OneNZ zaproponowały połączenie swoich sieci radiowych. Decyzji Commerce Commission oczekuje się w przyszłym roku.

Wspólny wątek nie polega na tym, że inferencja zaraz będzie darmowa. Optymalizacje z tego tygodnia celują w konkretne wąskie gardła: szybkość dekodowania agentów na sprzęcie konsumenckim, wywołania SQL wiersz po wierszu i moc GPU w bezczynności. Każda ma własny benchmark i własnego dostawcę. Indeks cen sugeruje, że same ceny katalogowe niewiele się ruszyły. Oszczędności sprzedaje się na poziomie silnika, a kupujący będą musieli przetestować je na własnych obciążeniach.

Komentarze 0

Źródła

9
  1. 01Launch HN: Magnitude (YC S25) – Self-optimizing inference engine for agentsEN
  2. 02Jointly optimizing SQL queries and LLM inference for up to 14x speedupsEN
  3. 03Hitting 1B tokens/minute on 1 GPU combining a query planner and inference engineEN
  4. 04AI API pricing index - September 2026EN
  5. 05Mind-1: Cutting robot inference latency from 82ms to 32msEN
  6. 06The pricing calculator made people more confused about pricingEN
  7. 07Driving An EV Now Costs Half As Much As Diesel, New Analysis ShowsEN
  8. 08Beyond Utilization: Energy-Conscious GPU Sharing for Inference ServingEN
  9. 09Singapore, New Zealand operators seek partnerships to cut costsEN

Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.

Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.

Marta Zielińska

Marta Zielińska

AI, modele i technologie

Marta Zielińska pisze o technologiach, AI i modelach oraz mediach i internecie, opierając się na dokumentacji, preprintach i danych z API, a nie na zapowiedziach producentów. Przy każdej publikacji sprawdza karty modeli, parametry treningowe i benchmarki, a liczby porównuje z niezależnymi testami i wynikami z repozytoriów. Rozmawia z badaczami i inżynierami, czeka na kolejne wydania modeli i zestawia ich działanie z wcześniejszymi wersjami. Prywatnie drukuje w 3D, naprawia stare komputery i sprawdza, jak modele uczą się na śmieciach z internetu. Nie publikuje wyników, których nie może odtworzyć na własnym sprzęcie.

Redakcja →

Komentarze

0
  1. Brak komentarzy — bądź pierwszy.

Dodaj komentarz

Komentarze są widoczne publicznie. Nie publikujemy wulgaryzmów, spamu i treści reklamowych.