Inference-Engine Quail schafft 1.000.000.000 Token pro Minute auf einer H100
Zwei Forschungsteams haben am 30. September neue Ergebnisse zu Inference-Engines veröffentlicht. Sie behaupten, AI-SQL-Abfragen liefen auf derselben Hardware mehr als zehnmal schneller als eine vLLM-Baseline.

Am 30. September veröffentlichten Modal und das Full Stack Data Lab der Carnegie Mellon University Ergebnisse zu Quail. Die query-aware Inference-Schicht soll nach Angaben der beiden Teams bei einer Multi-Join-Abfrage mehr als 1.000.000.000 Token pro Minute pro H100-GPU verarbeiten, mehr als 10x schneller als ihre vLLM-Baseline auf derselben Hardware. Zu der Behauptung gehört ein Preis: unter 6 Cent pro 1.000.000.000 Token auf Modal. Hochgerechnet auf 4.000.000.000 Token bleibt es bei diesem Satz.
Die Arbeit zielt auf AI-SQL, eine Erweiterung von SQL, mit der eine Abfrage zeilenweise ein Sprachmodell aufrufen kann. Der Blog des Full Stack Data Lab beschreibt einen Filter, der einen LLM-Aufruf pro Zeile braucht, und einen naiven Join, der einen Aufruf für jedes Paar von Zeilen aus seinen beiden Eingabetabellen benötigt. Diese Rechnung wächst schnell. In einer Benchmark-Abfrage, die das Lab BIO-4 nennt, werden 5.000 medizinische Berichte mit 4.144 Reaktionstermen verknüpft, wobei die Reaktionsliste zweimal verwendet wird. Eine vLLM-0.26.0-Baseline mit Qwen3 4B FP8 auf einer H100 brauchte bei Skalierungsfaktor 1.0 nach Angaben des Labs 6,84 Stunden. Das entspricht dem 27,55-fachen einer optimistischen Roofline-Schätzung von 14,91 Minuten.
Das Lab führt die Lücke auf zwei Ursachen zurück.
Die erste ist Host-Overhead: Die CPU verbringt lange Phasen damit, Anfragen zu planen, während die GPU wartet. Die zweite nennt es KV-Regret. vLLM verwirft Key- und Value-Zustand, den es später wieder braucht, sodass der BIO-4-Lauf 174.600.000 Token verarbeitet, die es nicht gebraucht hätte.
"The big win is that with a structured query in hand, you can order requests to better cache (and evict) KV", heißt es im Modal-Blog.
Quail ist nicht allein auf dieser Suche. Magnitude, ein Unternehmen aus dem Y-Combinator-Batch S25, öffnete am 30. September sein Repository auf GitHub mit einem anderen Ansatz: eine Open-Source-Inference-Engine für Agenten, die Kernel auf dem Gerät des Nutzers kompiliert und abstimmt. Das README behauptet, offene Modelle liefen bis zu 2x schneller als llama.cpp, mit 92% schnellerem Decode auf Metal und 19% auf CUDA, und mit 27% weniger Speicher pro Agent. Als Ziele nennt es Apple Silicon, NVIDIA, AMD und einfache CPUs, lizenziert ist es unter Apache 2.0. Beide Projekte argumentieren, dass der allgemeine Serving-Stack Leistung liegen lässt. Quails Antwort ist die Kenntnis der Abfragestruktur im Voraus. Magnitudes Antwort ist die Kenntnis des Siliziums.
Die Ökonomie hinter diesem Argument zeigt sich in den Preisdaten. Der September-Index von AICostBudget, eingefroren mit Stichtag 30. September UTC, umfasst 81 öffentliche Preisangaben von 11 Anbietern. Bei 69 Datensätzen mit einem aktuellen Input-Token-Skalar liegen die Preise zwischen $0.10 und $30 pro 1.000.000 Token. Der Output reicht von $0.10 bis $180. Das mediane Verhältnis von Output zu Input über die 69 Datensätze mit beiden Skalaren liegt bei 5,0x. Rabatte zählen so viel wie Listenpreise. Über 58 vergleichbare Datensätze meldet der Index einen medianen Rabatt auf gecachten Input von 90%. Über 44 batchfähige Datensätze liegt der mediane Batch-Input-Rabatt bei 50%. Die Methodenseite stellt ausdrücklich klar, dass regionale Preise und ausgehandelte Sätze nicht erfasst sind und dass es sich um Planungsgrößen handelt, nicht um Rechnungen.
Auch die Forschung zur Hardware geht in diese Richtung. Ein am 28. September auf der SOSP '26 veröffentlichtes Paper stellt EnerTune vor, ein Serving-System, das analytische Modelle für Leistung und Stromverbrauch pro Modell sowie die Leistungsaufnahme gemeinsam platzierter Modelle auf geteilten GPUs nutzt, um einen energiebewussten Bin-Packing-Algorithmus zu steuern. Die Autoren Prasoon Sinha, Dimitrios Liakopoulos, Nathan Lemma und Neeraja J. Yadwadkar berichten von Energieeinsparungen um den Faktor 1,4 bis 2,3 und von einer Verringerung der Leistungsaufnahme um den Faktor 1,3 bis 2,6 gegenüber dem Stand der Technik, bei Einhaltung der Performance-SLOs.
Ihr Ausgangspunkt ist, dass GPU-Cluster weiterhin stark unterausgelastet sind und dass eine Optimierung allein auf Auslastung den Energieverbrauch erhöhen kann. In großem Maßstab, so argumentieren sie, sei das Profiling jedes Modells über Hunderte Konfigurationen unbezahlbar teuer, weshalb Schätzung die Messung ersetzen muss.
Nicht jedes neue Ergebnis betrifft den Serving-Stack. MindOn stellte am 30. September Mind-1 vor, ein Physical-AI-Modell, das nach Angaben des Unternehmens die Inferenzlatenz von Robotern von 82 ms auf 32 ms senkt und Manipulationsaufgaben damit auf menschliche Zykluszeiten bringt. Der Beitrag des Unternehmens merkt an, dass bei einer Endeffektor-Geschwindigkeit von 3 m/s 10 ms Latenz etwa 3 cm Bewegung entsprechen, genug, um präzises Greifen und Einfügen zu beeinflussen. Es ist dasselbe Argument über das Latenzbudget, nur auf einen Roboterarm statt auf ein Data Warehouse angewandt.
Es gibt ein Gegengewicht. Ein am 30. September veröffentlichter Beitrag von Gleb Kogan beschreibt, wie Pinecone einen nutzungsbasierten Preisrechner von seiner Preisseite entfernte. In einem A/B-Test meldeten sich Besucher, die den Rechner nicht sahen, zu 16% häufiger an und kontaktierten das Unternehmen zu 90% häufiger, ohne dass die Support-Tickets zum Pricing zunahmen. Die interne Umfrage vor dem Test ergab, dass 7 von 10 Mitarbeitern erwarteten, die Version mit Rechner gewinne. Kosten-Tools können also ebenso irreführen wie informieren, eine Warnung für jeden, der Per-Token-Benchmarks als Rechnung liest.
Die Quail-Zahlen bleiben herstellerveröffentlichte Forschung, und die 1,84x, die das Team für seinen neu veröffentlichten Benchmark nennt, geometrisch über die Aufgaben gemittelt, sind eine deutlich bescheidenere Aussage als die Schlagzeile von 1.000.000.000 Token pro Minute. Der Benchmark selbst enthält zwei Abfragen, die die Autoren nach eigenen Angaben entwarfen, um zu zeigen, wo AI-SQL-Inferenz noch Arbeit braucht.
Quellen
7- 01Hitting 1B tokens/minute on 1 GPU combining a query planner and inference engineEN
- 02Building an Ultra-High Throughput AI-SQL EngineEN
- 03Launch HN: Magnitude (YC S25) - Self-optimizing inference engine for agentsEN
- 04AI API Pricing Index - September 2026EN
- 05Beyond Utilization: Energy-Conscious GPU Sharing for Inference ServingEN
- 06Mind-1: Physical AI at Human Speed, Built for Real WorkEN
- 07The pricing calculator made people more confused about pricingEN
Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.
Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.
Kommentare
0- Noch keine Kommentare — seien Sie der Erste.