Magnitude startet selbstoptimierende Inferenz-Engine, laut eigener Angabe bis zu 2x schneller als llama.cpp
Magnitude, ein Startup aus dem YC-Programm S25, hat am 30. September eine Open-Source-Inferenz-Engine veröffentlicht. Laut eigenen Angaben kompiliert und optimiert sie ihre Kernel auf der Hardware des Nutzers und führt offene Modelle bis zu 2x schneller aus als llama.cpp.

Der Launch erschien am 30. September auf Hacker News und hatte am nächsten Morgen 169 Punkte und 85 Kommentare gesammelt. Das Versprechen von Magnitude ist eng und konkret: Statt Kernel vorab für breite Hardwareklassen zu kompilieren, übersetzt und optimiert die Engine sie auf dem Gerät, bevor ein Modell läuft. Laut dem GitHub-Repository des Unternehmens ist das Decoding auf Apples Metal-API um 92% schneller und auf CUDA um 19%.
Diese Einordnung ist für alle relevant, die Inferenzrechnungen bezahlen, denn das Tempo-Versprechen ist ein Kostenversprechen. Weniger Sekunden pro Token auf eigener Hardware bedeuten Geld, das nicht an eine gehostete API geht.
Was im Repository tatsächlich steht
Magnitude nennt sich selbst Apache-2.0-lizenziert. Prompts, Dateien und Modelle bleiben auf dem Rechner, und sobald ein Modell heruntergeladen ist, braucht es kein Internet mehr. Ausgeliefert wird das Ganze als Desktop-App, die die magnitude-CLI mitbringt, ein separater Installationsschritt entfällt also. Die unterstützte Hardware ist bewusst breit gefasst: jeder Apple Silicon, jede NVIDIA- oder AMD-GPU, oder allein eine CPU. Das Repository nennt kein festes Minimum; kleinere Rechner führen kleinere Modelle aus.
Das Projekt listet handoptimierte Kernel für verbreitete Open-Weight-Familien und verspricht 27% weniger Speicher pro Agent, der freigegeben wird, sobald Agenten stoppen. Außerdem teilen sich parallele Sitzungen Prefix-Caches, um Verlangsamung zu verhindern. Ein Klick verbindet Pi, OpenCode, Hermes, OpenClaw, Codex, Claude Code, Oh My Pi und Cline; alles andere ist über eine OpenAI-kompatible API erreichbar.
Die Speicherangabe ist die leisere. Agent-Frameworks sind speicherhungrig, weil jede Sitzung ihren eigenen Kontext hält. Gibt Magnitude diesen Speicher am Ende einer Sitzung wirklich frei, ändert das, wie viele Agenten auf einer Maschine laufen können.
Das Abrechnungsproblem, das sie nicht löst
Lokales Ausführen beseitigt Tokenkosten, aber nicht die Kosten für die Maschine, den Strom oder den Ingenieur, der sie einstellt. Ein unabhängiges Kostenwerkzeug, das der Entwickler Flavio Copes am 23. September veröffentlichte, versucht diesen Vergleich greifbar zu machen. Sein Inferenzkostenrechner stellt 27 Modelle bei OpenAI, Anthropic, Google, xAI, Mistral, OpenRouter und Workers AI gegenüber und rechnet tägliche aktive Nutzer, Aufrufe pro Nutzer und Tokenzahlen in eine Monatsrechnung um.
Copes betont ausdrücklich, dass die Zahlen Schätzungen sind. Der Rechner, schreibt er, ignoriert Batch-Preise, Enterprise-Rabatte, Zuschläge für Bilder oder Tools und jede Caching-Schicht, die man selbst gebaut hat. Er weist auch darauf hin, dass ein Anbieter keinen Rabatt für gecachte Eingaben veröffentlicht, weshalb die Cache-Rate dort unberücksichtigt bleibt. Alles läuft im Browser.
Der dominierende Kostenfaktor einer KI-App sind die LLM-Aufrufe, und fast niemand kann ihn schätzen.
In dieser Lücke zwischen dem Preis eines Tokens und dem Preis eines Features spielen sich die meisten Planungsdebatten ab.
Kontext, Speicher und der Rest des Stacks
Zwei weitere Projekte im selben Hacker-News-Zyklus greifen benachbarte Teile der Rechnung an. FastRecall, am 28. September vorgestellt, positioniert sich als OpenRouter für Speicher und lässt Kontext zwischen Modellen und Anbietern wandern. Es nennt 100 Kontexte mit je 500 Nachrichten zu einem monatlichen Minimum von $7.00 vor den Gebühren der Modellanbieter und will LLM-basierte Speicherkompaktierung vermeiden, weil diese Techniken Latenz, Kosten und Abruffehler hinzufügen.
Caspian, ebenfalls am 28. September vorgestellt, nimmt die Build-Seite ins Visier. Die Desktop-App verwandelt eine getippte Idee in einen Plan und dann in ein laufendes Projekt. Sie will jede Änderung dem richtigen Modell zuordnen und dabei Kosten, Token und Zeit anzeigen, bevor etwas läuft. Die kostenlose Stufe nennt bis zu fünf Projekte mit einem Badge.
Alle drei zeigen in dieselbe Richtung: Die interessante Arbeit hat sich von der reinen Modellqualität auf die Infrastruktur drumherum verlagert, dort, wo der Zähler tatsächlich läuft.
Wo die Behauptungen enden
Keine dieser Zahlen ist unabhängig überprüft. Die 2x im Titel und die Aufteilung in 92% und 19% sind Magnitudes eigene Benchmarks gegen llama.cpp, veröffentlicht vom Unternehmen. Die $7.00 von FastRecall sind eine Plattformschätzung ohne Anbietergebühren, und die $0.00, die für 500 Abrufe angezeigt werden, sind eine Schätzung, kein Angebot. Copes sagt klar, dass sein Ergebnis eine Planungsschätzung ist und kein Angebot eines Anbieters.
Behandle das alles als Herstellerarithmetik, bis es jemand reproduziert. Das ist kein Vorwurf an die Projekte, sondern der normale Zustand der Inferenzpreise, wo veröffentlichte Tarife, Cache-Rabatte und Hardwareannahmen schneller wechseln als jede Tabelle.
Quellen
5- 01Launch HN: Magnitude (YC S25) – Self-optimizing inference engine for agentsEN
- 02Inference Cost CalculatorEN
- 03Show HN: HN.watch – Videos of all Hacker News postsEN
- 04Show HN: FastRecall, OpenRouter for MemoryEN
- 05Show HN: Caspian – Desktop app to build and launch small vibe-coded projectsEN
Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.
Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.
Kommentare
0- Noch keine Kommentare — seien Sie der Erste.