Quail will 1 Milliarde Token pro Minute auf einer H100 schaffen, während der GPU-Preisvergleich eng wird
Modal und das Full Stack Data Lab der Carnegie Mellon University schreiben, ihre Quail-Engine habe eine AI-SQL-Abfrage mit mehreren Joins auf einer einzigen H100 über eine Milliarde Token pro Minute getrieben, mehr als das Zehnfache ihrer vLLM-Baseline. Der Beitrag erschien am 30. September.

Zu der Behauptung gehört ein Preis: unter 6 Cent pro Milliarde Token auf Modal, heißt es im Blog des Unternehmens. Solche Zahlen entscheiden, ob AI-SQL ausgerollt wird oder still im Regal verschwindet, denn ein Filter über eine Million Zeilen bedeutet eine Million Modellaufrufe.
Zwei Engpässe, zwei Ansätze
Die eigene Ausarbeitung des Full Stack Data Lab vom 24. September beschreibt das Problem in Datenbankbegriffen. Eine Abfrage, die 5.000 medizinische Berichte mit 4.144 Reaktionsbegriffen zusammenführt, wächst zu Millionen einzelner Inferenzanfragen. Liefen sie nacheinander durch vLLM 0.26.0 mit Qwen3 4B FP8 auf einer H100, dauerte das 6,84 Stunden. Die Autoren rechnen vor, dass dies das 27,55-Fache ihrer Roofline-Schätzung von 894,37 Sekunden oder 14,91 Minuten ist. Sie nennen zwei Ursachen: Host-Overhead, bei dem die CPU Anfragen einplant, während die H100 wartet, und KV-Regret, bei dem die Engine Key-Value-Zustand verwirft, den sie später wieder braucht. In diesem Benchmark bei Skalierungsfaktor 1.0 verarbeitete vLLM 174,6 Millionen Token, die es nicht gebraucht hätte.
Quail setzt vor dem Lauf am Abfrageplan an. Wer die Form der Joins kennt, kann Anfragen so ordnen, dass gemeinsame Präfixe im Cache bleiben, und Arbeit bündeln, die eine Allzweck-Engine als unzusammenhängend behandelt. Der Modal-Beitrag beschreibt das als Weiterentwicklung der Cascade Attention im Stil von Hydragen. Beide Teams bezeichnen das Projekt als Zusammenarbeit zwischen den Inferenzforschern von Modal und der Datenbankgruppe der CMU.
Über den gesamten Benchmark fällt die Zahl kleiner aus: 1,84-mal schneller als vLLM im geometrischen Mittel, einschließlich zweier Abfragen, die die Autoren eigens gebaut haben, um zu zeigen, wo AI-SQL-Inferenz noch scheitert.
Die Preisdaten darunter
Kostenaussagen wirken anders, je nachdem, was eine GPU-Stunde überhaupt kostet, und diese Zahl bewegt sich inzwischen wöchentlich. GPUAdvisor verfolgt 14 Anbieter und listet Hyperstack mit 0,15 Dollar pro Stunde für eine A4000 16GB, Lium mit 0,22 Dollar für eine RTX 3090 und 0,38 Dollar für eine L40S sowie RunPod mit einer RTX A5000 zu 0,27 Dollar auf Abruf gegenüber 0,16 Dollar in der geteilten Community-Cloud-Stufe. Die Seite, zuletzt erfasst am 1. Oktober, stellt schlicht fest, dass GPU-Preise keine stabile Nachschlagetabelle mehr sind.
FitMyLLM geht dieselbe Frage von der Token-Seite an und argumentiert, dass ein Stundensatz ohne Durchsatzangabe nichts sagt. Die Live-Tabelle liest die Raten alle drei Minuten über Anbieter-APIs ein und sortiert nach Kosten pro Million Ausgabe-Token bei einem Stream. Das RTX-3060-Angebot von Vast.ai kommt mit 0,261 Dollar pro Million Token am günstigsten weg; eine RTX 5090 auf Vast.ai läuft mit 227 Token pro Sekunde und 0,576 Dollar pro Million. Die Seite räumt offen ein, dass Rechenzentrumskarten bei dieser Kennzahl konstruktionsbedingt schlecht abschneiden, weil eine H100 oder H200 ihren Preis dadurch verdient, dass sie viele Streams gleichzeitig bedient, und dass es sich bei diesen Zeilen um Schätzungen handelt, nicht um Messungen.
"Ein Marktplatzpreis ist das Angebot eines Hosts, keine veröffentlichte Rate: Er kann verschwinden, und Hosts betreiben eine Karte womöglich unter ihrem Standard-Power-Limit, was Geschwindigkeit kostet, die der Preis nicht zeigt."
Für API-Käufer statt GPU-Mieter friert der September-Index von AICostBudget 81 öffentliche Datensätze von 11 Anbietern mit Stichtag 2026-09-30 ein. Der Median des Eingabepreises liegt bei 1,32 Dollar pro Million Token, der Median der Ausgabe bei 6 Dollar, und der Median des Verhältnisses von Ausgabe zu Eingabe beträgt 5,0x. Datensätze mit gecachter Eingabe zeigen einen Median-Rabatt von 90 Prozent, solche mit Batch-Preis einen Median von 50 Prozent, über 58 beziehungsweise 44 vergleichbare Zeilen. Der Index warnt ausdrücklich, seine Anbietermediane seien keine nutzungsgewichteten Marktpreise, und er behaupte keinen branchenweiten jährlichen Rückgang.
Effizienz rückt eine Ebene höher
Energie ist der nächste Posten. Ein am 28. September auf der SOSP '26 veröffentlichtes Papier von Prasoon Sinha, Dimitrios Liakopoulos, Nathan Lemma und Neeraja J. Yadwadkar argumentiert, dass reine Optimierung auf GPU-Auslastung den Energieverbrauch erhöhen kann. Ihr System EnerTune nutzt analytische Modelle für Leistung und Verbrauch je Modell, einschließlich der Last mitbetriebener Modelle auf einer gemeinsamen GPU, in einem energiebewussten Bin-Packing-Algorithmus. Die Autoren berichten, dass sie Performance-SLOs einhielten und zugleich die Energie um das 1,4- bis 2,3-Fache und die Leistungsaufnahme um das 1,3- bis 2,6-Fache gegenüber aktuellen Baselines senkten. Jede Konfiguration zu profilieren ist im Maßstab selbst zu teuer, deshalb sind die Modelle analytisch und nicht gemessen.
Inferenz auf dem Gerät führt dasselbe Argument von der anderen Seite. Magnitude, ein Unternehmen aus dem YC-Batch S25, das am 30. September auf Hacker News postete, liefert eine Open-Source-Engine unter Apache 2.0, die Kernel auf der Hardware des Nutzers kompiliert und abstimmt, bevor ein Modell läuft. Das README verspricht bis zu 2-mal schneller als llama.cpp, mit 92 Prozent schnellerem Decode auf Metal und 19 Prozent auf CUDA sowie 27 Prozent weniger Speicher pro Agent. Keine Token-Kosten, nichts verlässt den Rechner. Der Haken: Es laufen offene Modelle auf der eigenen GPU, kein Frontier-Modell auf der eines anderen.
Worauf Käufer achten sollten
Drei Zahlen im Dossier zeigen in verschiedene Richtungen. Quails durchschnittliche Beschleunigung von 1,84x ist real, aber bescheiden neben der Schlagzeile von einer Milliarde Token pro Minute, und das sagen die Autoren selbst. Der günstigste gemessene Satz bei FitMyLLM von 0,261 Dollar pro Million Token stammt von einer Consumer-Karte, die die meisten Produktionsteams nicht einsetzen würden. Der Median-Ausgabepreis von AICostBudget von 6 Dollar pro Million Token spiegelt Listenpreise, nicht die Cache- oder Batch-Raten, die die meisten großen Arbeitslasten tatsächlich zahlen.
Praktisch gelesen: Stundensätze pro GPU sind inzwischen ein Vergleich von Massenware, und die Unterscheidung hat sich auf Durchsatz pro Dollar, Cache-Verhalten und Energie verlagert. Die Quail-Autoren sagen ausdrücklich, das sei ein Anfang und kein Abschluss. Sie bitten um das eine, was ihr Benchmark nicht selbst liefern kann: echte Arbeitslasten von Teams, die AI-SQL im großen Stil betreiben.
Quellen
7- 01Quail: Speeding up AI-SQL by jointly optimizing query planner and inference engineEN
- 02Building an Ultra-High Throughput AI-SQL EngineEN
- 03Cloud GPU Pricing — Cost Intelligence for H100, A100 & B200EN
- 04Cloud GPU prices for LLM inference — cost per million tokensEN
- 05AI API Pricing Index — September 2026EN
- 06Beyond Utilization: Energy-Conscious GPU Sharing for Inference ServingEN
- 07Launch HN: Magnitude (YC S25) – Self-optimizing inference engine for agentsEN
Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.
Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.
Kommentare
0- Noch keine Kommentare — seien Sie der Erste.