Quail und Magnitude greifen die Inferenzkosten von den entgegengesetzten Enden des Stacks an
Zwei Open-Source-Projekte, die am 30. September veröffentlicht wurden, wollen denselben Preis von verschiedenen Seiten holen: Quail meldet über 4.000.000.000 verarbeitete Token pro Minute auf einer einzelnen H100, indem die Engine SQL-Abfragen gegen sich planen lässt. Magnitude dagegen will offene Modelle bis zu zweimal schneller als llama.cpp laufen lassen, weil die Kernel erst auf der Hardware des Nutzers kompiliert werden.

Der Vorschlag von Modal und dem Full Stack Data Lab der Carnegie Mellon University ist konkret. Quail, der QUery-Aware Inference Layer, kam bei einer einzigen Multi-Join-Abfrage auf über 4.000.000.000 verarbeitete Token pro Minute je H100-GPU, schrieb das Team am 30. September, mehr als zehnmal schneller als die eigene vLLM-Basislinie auf derselben Hardware. In Modals Cloud entspricht das weniger als sechs Cent pro Milliarde Token.
Die Zahl ist groß genug, um wie ein Tippfehler auszusehen.
Sie ist keine Aussage über ein neues Modell oder einen neuen Chip. Sie ist eine Aussage über die Reihenfolge.
Was Quail tatsächlich tut
AI-SQL erweitert SQL um Funktionen, die pro Zeile ein Sprachmodell aufrufen. Ein Filter braucht einen Modellaufruf je Zeile. Ein naiver Join braucht einen Aufruf für jedes Zeilenpaar aus zwei Tabellen. Der Blog des Full Stack Data Lab, veröffentlicht am 24. September und von Modal erneut geteilt, führt eine Benchmark-Abfrage namens BIO-4 durch: 5.000 medizinische Berichte, zweimal gegen 4.144 Reaktionsbegriffe gejoint. Die Rechnung des Labors setzt die theoretische Untergrenze für diese Abfrage bei 894 Sekunden an, also bei 14,91 Minuten, unter der Annahme voller GPU-Auslastung, vollständiger CPU-GPU-Überlappung und unbegrenzten Speichers für gehaltenen KV-Cache. vLLM 0.26.0 mit Qwen3 4B FP8 brauchte auf einer H100 6,84 Stunden, das 27,55-fache dieser Untergrenze. Der Blog führt die Lücke auf zwei Dinge zurück: Host-Overhead, bei dem die CPU Anfragen einplant, während die H100 stillsteht, und das, was er KV-Regret nennt, also dass vLLM Key-Value-Cache verwirft, den es später wieder braucht. Bei BIO-4 mit Skalierungsfaktor 1.0 habe vLLM 174.600.000 verarbeitet, und an dieser Stelle bricht der Satz im vorliegenden Text ab.
Quails Ansatz nutzt die Struktur der Abfrage selbst als Signal für die Einplanung. Kennt die Engine den Plan, kann sie Anfragen so ordnen, dass Cache wiederverwendet und gezielt verworfen wird, statt nur zu reagieren. Der Modal-Beitrag beschreibt das als leichte Abwandlung der Cascade-Attention im Hydragen-Stil und nennt die Zusammenarbeit von Inferenzforschern bei Modal mit Datenbankforschern der CMU.
Über einen neu veröffentlichten AI-SQL-Benchmark läuft Quail geometrisch gemittelt 1,84-mal schneller als vLLM, eine deutlich kleinere Zahl als die Schlagzeile mit den Milliarden Token. Der Modal-Beitrag schreibt, der Benchmark enthalte zwei Abfragen, die zeigen sollen, wo die AI-SQL-Inferenz noch Arbeit braucht. Das ist eine nützliche Offenlegung: Die 10-fache Zahl ist ein Best Case bei einer Abfrage, keine allgemeine Beschleunigung.
Magnitude geht den anderen Weg
Magnitude, ein Unternehmen aus dem Y-Combinator-Batch S25, stellte sein Repository am 30. September mit einem anderen Argument online. Die Inferenz-Engine kompiliert und tunet Kernel auf dem tatsächlichen Gerät, bevor ein Modell läuft, statt Kernel vorab für breite Hardwareklassen auszuliefern. Das README verspricht bis zu zweimal schneller als llama.cpp, mit 92 Prozent schnellerem Decode auf Metal und 19 Prozent auf CUDA. Außerdem 27 Prozent weniger Speicher pro Agent.
Die unterstützte Hardware ist bewusst breit: Apple Silicon, NVIDIA, AMD oder eine CPU allein. Das Projekt nennt kein festes Minimum und schreibt, dass kleinere Maschinen kleinere Modelle fahren. Es kommt als Desktop-App mit CLI, verbindet sich mit Pi, OpenCode, Hermes, OpenClaw, Codex, Claude Code, Oh My Pi und Cline und bietet für alles andere eine OpenAI-kompatible API. Lizenz ist Apache 2.0, der Betrieb läuft lokal.
Die beiden Projekte sind keine Konkurrenten. Quail zielt auf die analytische SQL-Schicht, wo ein Abfrageplaner Millionen kleiner, strukturierter Modellaufrufe erzeugt. Magnitude zielt auf den Laptop des Entwicklers, wo ein Agent gegen ein Modell läuft und Speicher sowie Decode-Geschwindigkeit die Grenze setzen. Beide zeigen aber auf dasselbe Kostenproblem von entgegengesetzten Enden: Inferenz ist teuer, weil Allzweck-Engines nicht wissen, was die Last als Nächstes tut.
Was die Preisdaten sagen
Der September-Preisindex von AICostBudget, eingefroren mit Stichtag 30. September UTC über 81 öffentliche Datensätze von 11 Anbietern, liefert den Marktkontext. Über 69 Datensätze mit aktuellem Input-Token-Skalar reichen die Preise von 0,10 bis 30 Dollar je 1.000.000 Token. Die Output-Preise reichen von 0,10 bis 180 Dollar. Der Median beim Input liegt bei 1,32 Dollar, beim Output bei 6 Dollar, das Median-Verhältnis von Output zu Input bei 5,0.
Der Index macht einen Punkt, der in einem Ranking nach dem billigsten Modell leicht untergeht. Über 58 vergleichbare Datensätze liegt der Median-Rabatt auf gecachten Input bei 90 Prozent. Über 44 batchfähige Datensätze liegt der Median-Batch-Rabatt bei 50 Prozent. Ein Lastvergleich, der einen dieser Modi ignoriert, vergleicht Listenpreise, die niemand zahlt.
Die Anbietermediane im Index, laut Methodik weder nutzungsgewichtet noch nach Marktanteil: Google Gemini bei 0,75 Dollar Input und 4,125 Dollar Output über 14 bepreiste Datensätze, Mistral AI bei 0,20 und 0,60 über 7, DeepSeek bei 0,30 und 1,20 über 3, OpenAI bei 2 und 11 über 18, xAI bei 1,25 und 2,50 über 9, Cohere bei 1,50 und 5,75 über 2, Anthropic bei 5 und 25 über 13, Moonshot AI bei 0,95 und 4 über 3. AWS, Azure und Google Cloud steuern je einen Datensatz ohne numerischen Wert bei.
Die Hardwareseite
Auch an der Hardware-Effizienz wird parallel gearbeitet. EnerTune, ein Papier aus dem SOSP-'26-Proceedings vom 28. September, argumentiert, dass die reine Optimierung von GPU-Clustern auf Auslastung den Energieverbrauch erhöhen kann. Die Autoren Prasoon Sinha, Dimitrios Liakopoulos, Nathan Lemma und Neeraja J. Yadwadkar schlagen analytische Modelle für Performance und Leistung je Modell vor, dazu den Stromverbrauch gemeinsam platzierter Modelle auf geteilten GPUs, und speisen damit einen energiebewussten Bin-Packing-Algorithmus. Sie berichten, Performance-SLOs einzuhalten und dabei Energie um das 1,4- bis 2,3-fache sowie die Leistungsaufnahme um das 1,3- bis 2,6-fache gegenüber dem Stand der Technik zu senken.
Das ist ein anderer Hebel als bei Quail, und es gilt derselbe Vorbehalt: Benchmark-Ergebnisse, keine Produktivsysteme. Das Papier merkt ausdrücklich an, dass das Profiling jedes Modells unter Hunderten Konfigurationen im großen Maßstab unbezahlbar teuer ist, weshalb es analytische Modelle nutzt.
Unterdessen erinnert die Erfahrung von Pinecone mit dem eigenen Preisrechner, beschrieben von Gkogan am 30. September, daran, dass Kostenverwirrung nicht nur ein Rechenproblem ist. Das Unternehmen entfernte den Rechner, nachdem ein A/B-Test ergab, dass Besucher ohne Rechner sich 16 Prozent häufiger anmeldeten und 90 Prozent häufiger Kontakt aufnahmen, ohne mehr Support-Tickets zum Thema Preise. Sieben von zehn Mitarbeitern hatten vorhergesagt, die Variante mit Rechner würde gewinnen.
Der gemeinsame Faden bei Quail, Magnitude und EnerTune ist, dass die größten Gewinne daraus kommen, mehr über die Last zu wissen, sei es ein Abfrageplan, ein bestimmter Chip oder ein Muster der gemeinsamen Platzierung. Allzweck-Engines lassen diese Information liegen. Was keines der drei bisher belegt, ist, ob die Gewinne den Kontakt mit unruhigem Produktivverkehr überstehen, und nur Magnitude liefert etwas, das ein Entwickler heute installieren kann.
Quellen
6- 01Hitting 1B tokens/minute on 1 GPU combining a query planner and inference engineEN
- 02Jointly optimizing SQL queries and LLM inference for up to 14x speedupsEN
- 03Launch HN: Magnitude (YC S25) - Self-optimizing inference engine for agentsEN
- 04AI API Pricing Index - September 2026EN
- 05Beyond Utilization: Energy-Conscious GPU Sharing for Inference ServingEN
- 06The pricing calculator made people more confused about pricingEN
Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.
Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.
Kommentare
0- Noch keine Kommentare — seien Sie der Erste.