Inferenzkosten sinken: Quail und Magnitude drücken die Serving-Preise
Modal und das Full Stack Data Lab der Carnegie Mellon University haben am 30. September mitgeteilt, ihre Engine Quail habe auf einer einzigen H100 GPU über 4.000.000.000 Token pro Minute verarbeitet, mehr als 10x so viel wie ihre vLLM-Basislinie. Auf Modal kostet diese Arbeit weniger als 6 Cent pro Milliarde Token.

Die Meldung kommt an demselben Tag, an dem ein von Y Combinator unterstütztes Projekt namens Magnitude eine Open-Source-Inferenz-Engine veröffentlichte, die ihre Kernel auf der vorhandenen Hardware selbst abstimmt. Beide verfolgen dieselbe Idee: Teuer ist nicht mehr das Modell, sondern die Serving-Schicht.
Quail ist die gemeinsame Arbeit von Inferenzforschern bei Modal und Datenbankforschern am Full Stack Data Lab der Carnegie Mellon University. Beschrieben ist sie in einem Beitrag vom 30. September auf Modals Blog und in einer begleitenden Ausarbeitung des Labors. Die Forscher gehen das Problem AI-SQL an: SQL-Abfragen rufen Sprachmodelle Zeile für Zeile auf. Ein einzelner Filter braucht einen Modellaufruf pro Zeile, ein naiver Join einen Aufruf für jedes Zeilenpaar. Die Benchmark-Abfrage des Labors, BIO-4, filtert 5.000 medizinische Berichte gegen 4.144 Begriffe für unerwünschte Reaktionen und verknüpft sie anschließend zweimal. Ihr Beitrag schätzt eine Laufzeit am theoretischen Limit von 894 Sekunden, also 14,91 Minuten. Grundlage ist ein Roofline-Modell, das Spitzen-Durchsatz der GPU, volle Überlappung von CPU und GPU und unbegrenzten KV-Cache-Speicher annimmt.
vLLM 0.26.0 mit Qwen3 4B FP8 auf einer H100 bei Skalierungsfaktor 1,0 brauchte laut dem Labor 6,84 Stunden. Das ist das 27,55-fache der Ideal-Schätzung.
Zwei Ursachen: Host-Overhead, bei dem die CPU Anfragen plant, während die GPU wartet, und das, was sie KV-Regret nennen. vLLM verwirft dabei Key-Value-Zustand, den es später wieder braucht. Das Labor zählt in diesem Lauf 174.600.000 verschwendete Token.
Bei einer Multi-Join-Abfrage, bei der die Planung besonders wichtig ist, erreicht Quail über eine Milliarde verarbeitete Token pro Minute und H100 GPU (TPM/GPU), mehr als 10x schneller als unsere vLLM-Basislinie auf derselben Hardware.
Modals Beitrag führt den Vorsprung darauf zurück, dass die Engine die Struktur der Abfrage im Voraus kennt. So kann sie Anfragen so ordnen, dass KV-Zustand besser zwischengespeichert und verworfen wird. Dafür war eine Überarbeitung der Cascade-Attention im Stil von Hydragen nötig. Über den gesamten Benchmark läuft Quail geometrisch gemittelt 1,84x schneller als vLLM. Darin enthalten sind zwei Abfragen, die die Autoren bewusst so entwarfen, dass sie zeigen, wo AI-SQL-Inferenz noch Arbeit braucht.
Magnitude setzt auf die eigene Hardware
Magnitude, geführt als YC-S25-Unternehmen, wählte für dasselbe Kostenproblem den entgegengesetzten Weg. Das am 30. September aktualisierte GitHub-README beschreibt eine Engine, die Kernel vor dem Modelllauf auf dem Gerät des Nutzers kompiliert und abstimmt, statt vorkompilierte Kernel für Hardwareklassen auszuliefern. Das Projekt verspricht bis zu 2x schneller als llama.cpp, mit 92% schnellerem Decode auf Metal und 19% auf CUDA, dazu 27% weniger Speicher pro Agent. Es läuft auf Apple Silicon, NVIDIA, AMD oder allein auf einer CPU, verbindet sich per Klick mit Agenten wie Pi, OpenCode, Hermes, Codex und Claude Code und steht unter Apache-2.0-Lizenz. Prompts, Dateien und Modelle bleiben lokal, heißt es im README.
Beide Projekte jagen derselben Ökonomie hinterher.
Ein am 30. September von AICostBudget veröffentlichter Preisindex deckt 81 öffentliche Datensätze von 11 Anbietern ab. Er setzt den mittleren Eingabepreis auf 1,32 US-Dollar pro Million Token und den mittleren Ausgabepreis auf 6 US-Dollar. Ausgaben kosten im Median etwa fünfmal so viel wie Eingaben. Dieselbe Momentaufnahme fand einen mittleren Rabatt von 90% auf zwischengespeicherte Eingaben über 58 vergleichbare Datensätze und einen mittleren Batch-Rabatt von 50% über 44. Genau das zählt für alle, die AI-SQL betreiben. Workloads, die sich batchen und cachen lassen, zahlen einen Bruchteil des Listenpreises. Workloads, bei denen das nicht geht, zahlen den vollen Preis.
Die Rechnung kommt woanders an
Energie ist die andere Zahl im Raum.
Ein am 28. September auf der SOSP '26 vorgestelltes Paper von Prasoon Sinha, Dimitrios Liakopoulos, Nathan Lemma und Neeraja J. Yadwadkar argumentiert, dass die reine Optimierung von GPU-Clustern auf Auslastung den Energieverbrauch erhöhen kann. Ihr System EnerTune nutzt analytische Modelle für Leistung und Stromverbrauch pro Modell, einschließlich des Verbrauchs von Modellen, die auf einer GPU gemeinsam laufen, sowie einen energiebewussten Bin-Packing-Algorithmus. Sie berichten von 1,4 bis 2,3x weniger Energie und 1,3 bis 2,6x geringerer Leistungsaufnahme als aktuelle Basislinien, bei weiterhin erfüllten Leistungszielen.
Die Autoren von Quail behaupten nicht, ihr Benchmark kläre irgendetwas. Sie sagen, zwei der Abfragen seien bewusst so entworfen, dass sie zeigen, wo AI-SQL-Inferenz besser werden muss. Das geometrische Mittel von 1,84x verstehen sie als Ausgangspunkt, nicht als Obergrenze. Das Ideal von 14,91 Minuten bleibt ein Ideal: Keine Implementierung erfüllt alle seine Annahmen.
Noch ein Datenpunkt, von der anderen Seite der Preisdebatte.
Ein Beitrag von Gagan Kogan vom 30. September, der Arbeit bei Pinecone schildert, beschreibt einen A/B-Test. Darin entfernte das Team einen nutzungsbasierten Preisrechner von der Preisseite. Danach meldeten sich Besucher zu 16% wahrscheinlicher an und nahmen zu 90% wahrscheinlicher Kontakt mit dem Unternehmen auf, ohne Anstieg der Support-Tickets zum Thema Preise. Sieben von zehn Mitarbeitern hatten vorhergesagt, der Rechner werde gewinnen. Kostentransparenz ist am Ende eine eigene Art von Komplexität.
Für Käufer ist die praktische Lesart enger als die Schlagzeilen. Der Preis pro Token sinkt für strukturierte, cachebare Workloads, und Anbieter veröffentlichen die Stufen, die ihn sinken lassen. Die Infrastruktur darunter, GPUs, Strom und die Planung dazwischen, ist der Ort, an dem der Kostenkampf jetzt ausgetragen wird.
Quellen
6- 01Building an Ultra-High Throughput AI-SQL EngineEN
- 02Quail: Speeding up AI-SQL by jointly optimizing query planner and inference engineEN
- 03magnitudedev/magnitude: Open source inference engine for agentsEN
- 04AI API Pricing Index, September 2026EN
- 05Beyond Utilization: Energy-Conscious GPU Sharing for Inference ServingEN
- 06The pricing calculator made people more confused about pricingEN
Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.
Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.
Kommentare
0- Noch keine Kommentare — seien Sie der Erste.