Magnitude uruchamia samodostrajający się silnik inferencji. Firma twierdzi, że jest do 2 razy szybszy od llama.cpp
Magnitude, startup z YC S25, wypuścił 30 września otwarty silnik inferencji. Firma twierdzi, że kompiluje i dostraja jądra na sprzęcie użytkownika, dzięki czemu otwarte modele działają do 2 razy szybciej niż w llama.cpp.

Premiera trafiła na Hacker News 30 września i do następnego ranka zebrała 169 punktów oraz 85 komentarzy. Obietnica Magnitude jest wąska i konkretna: zamiast dostarczać jądra wstępnie skompilowane pod szerokie klasy sprzętu, silnik kompiluje je i dostraja na urządzeniu, zanim model ruszy. Firma twierdzi, że dekodowanie jest szybsze o 92% na Metal API Apple Silicon i o 19% na CUDA. Tak podaje jej repozytorium na GitHubie.
To rozróżnienie ma znaczenie dla każdego, kto płaci rachunki za inferencję, bo obietnica szybkości jest obietnicą kosztów. Mniej sekund na token na własnym sprzęcie to pieniądze, których nie wysyłasz do hostowanego API.
Co faktycznie mówi repozytorium
Magnitude podaje licencję Apache 2.0 i zapewnia, że prompty, pliki i modele zostają na maszynie, a po pobraniu modelu internet nie jest potrzebny. Aplikacja desktopowa zawiera CLI magnitude, więc nie ma osobnego kroku instalacji. Obsługiwany sprzęt jest celowo szeroki: dowolny Apple Silicon, GPU NVIDIA lub AMD albo sam procesor. Repozytorium mówi, że nie ma sztywnego minimum, a mniejsze maszyny uruchamiają mniejsze modele.
Projekt wymienia ręcznie zoptymalizowane jądra dla popularnych rodzin otwartych modeli i twierdzi, że zużywa o 27% mniej pamięci na agenta, zwalnianej, gdy agenci kończą pracę. Podaje też, że równoległe sesje współdzielą pamięci podręczne prefiksów, żeby nie zwalniały. Jedno kliknięcie łączy Pi, OpenCode, Hermes, OpenClaw, Codex, Claude Code, Oh My Pi i Cline, a po resztę można sięgnąć przez API zgodne z OpenAI.
Obietnica dotycząca pamięci jest cichsza. Frameworki agentowe pożerają pamięć, bo każda sesja trzyma własny kontekst. Jeśli Magnitude naprawdę zwalnia ją po zakończeniu sesji, zmienia się liczba agentów, które zmieścisz na jednej maszynie.
Problem z rozliczeniami, którego nie rozwiązuje
Lokalne uruchamianie znosi koszt tokenów, ale nie koszt maszyny, prądu ani inżyniera, który ją dostraja. Niezależne narzędzie kosztowe opublikowane 23 września przez dewelopera Flavio Copesa próbuje tę różnicę pokazać konkretnie. Jego kalkulator kosztów inferencji porównuje 27 modeli w OpenAI, Anthropic, Google, xAI, Mistral, OpenRouter i Workers AI i zamienia dziennych aktywnych użytkowników, liczbę wywołań na użytkownika i liczbę tokenów na miesięczny rachunek.
Copes wyraźnie zaznacza, że to szacunki. Kalkulator, jak pisze, pomija ceny pakietowe, zniżki enterprise, dopłaty za obrazy lub narzędzia oraz każdą warstwę cache, którą zbudowałeś sam. Wskazuje też, że jeden dostawca nie publikuje zniżki za wejście z cache, więc dla niego stawka cache jest pomijana. Wszystko działa w przeglądarce.
Dominującym kosztem aplikacji AI są wywołania LLM, a prawie nikt nie potrafi go oszacować.
Właśnie w tej luce między ceną tokena a ceną funkcji rozgrywa się większość sporów o planowanie.
Kontekst, pamięć i reszta stosu
Dwa inne projekty z tego samego cyklu na Hacker News uderzają w sąsiednie części rachunku. FastRecall, opublikowany 28 września, przedstawia się jako OpenRouter dla pamięci i pozwala kontekstowi przechodzić między modelami i dostawcami. Podaje 100 kontekstów po 500 wiadomości każdy w cenie od 7,00 dolarów miesięcznie, przed opłatami u dostawców modeli, i twierdzi, że unika kompresji pamięci opartej na LLM, bo te techniki dodają opóźnienie, koszt i błędy wyszukiwania.
Caspian, również opublikowany 28 września, bierze się za stronę budowania. Aplikacja desktopowa zamienia wpisany pomysł w plan, a potem w działający projekt, i twierdzi, że dopasowuje każdą zmianę do właściwego modelu, pokazując koszt, tokeny i czas, zanim cokolwiek ruszy. W darmowym planie publikuje do pięciu projektów z plakietką.
Wszystkie trzy wskazują w tę samą stronę: ciekawa praca przeniosła się z samej jakości modeli na infrastrukturę wokół nich, tam gdzie naprawdę kręci się licznik.
Gdzie kończą się twierdzenia
Żadna z tych liczb nie ma niezależnej weryfikacji. Nagłówek o 2x oraz podziały 92% i 19% to własne benchmarki Magnitude przeciwko llama.cpp, opublikowane przez firmę. Kwota 7,00 dolara w FastRecall to szacunek platformy bez opłat u dostawców, a 0,00 dolara pokazane dla 500 wywołań pamięci to szacunek, nie oferta. Copes mówi wprost, że jego wynik jest szacunkiem do planowania, nie wyceną dostawcy.
Traktuj to wszystko jako arytmetykę dostawcy, dopóki ktoś tego nie odtworzy. To nie zarzut wobec projektów. Taki jest normalny stan wycen inferencji, gdzie publikowane stawki, zniżki za cache i założenia sprzętowe zmieniają się szybciej niż czyjkolwiek arkusz kalkulacyjny.
Źródła
5- 01Launch HN: Magnitude (YC S25) – Self-optimizing inference engine for agentsEN
- 02Inference Cost CalculatorEN
- 03Show HN: HN.watch – Videos of all Hacker News postsEN
- 04Show HN: FastRecall, OpenRouter for MemoryEN
- 05Show HN: Caspian – Desktop app to build and launch small vibe-coded projectsEN
Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.
Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.
Komentarze
0- Brak komentarzy — bądź pierwszy.