Zum Inhalt
WeltzeitEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal über KI und Technologieereignisse · analysen · interviews · technischer hintergrund

Suche
LIVE
›

Quail bringt KI-SQL auf einer H100 auf 1 Milliarde Tokens pro Minute und schlägt vLLM um das Zehnfache

Modal und das Full Stack Data Lab der Carnegie Mellon University haben am 30. September Quail veröffentlicht. Die Inferenz-Engine optimiert SQL-Abfrageplanung und LLM-Ausführung gemeinsam und erreicht auf einer einzigen H100 mehr als eine Milliarde Tokens pro Minute, über zehnmal so viel wie eine vLLM-Basislinie.

KI & ModelleAnalyseLena BrandtVeröffentlicht: 30. September 20263 Min. LesezeitQuellen 7
Quail bringt KI-SQL auf einer H100 auf 1 Milliarde Tokens pro Minute und schlägt vLLM um das Zehnfache

Die Zahlen sind die Geschichte. Bei einer Abfrage mit mehreren Joins verarbeitet Quail laut Modal über eine Milliarde Tokens pro Minute pro H100-GPU. Die Engine entstand bei Modal zusammen mit dem Full Stack Data Lab der Carnegie Mellon University. Auf Modals eigener Hardware sind das weniger als 6 Cent pro Milliarde Tokens. In einem neuen Benchmark für KI-SQL-Abfragen läuft Quail geometrisch gemittelt über alle Aufgaben 1,84-mal schneller als vLLM.

Der Begleitbeitrag des Full Stack Data Lab, am selben Tag erschienen, erklärt, wo die Basislinie scheitert. Das Team ließ vLLM 0.26.0 mit Qwen3 4B FP8 auf einer H100 gegen BIO-4 laufen. Diese Abfrage filtert 5.000 medizinische Berichte gegen 4.144 Reaktionsbegriffe und verknüpft das Ergebnis zweimal. Für die theoretisch schnellstmögliche Ausführung des Plans schätzte das Team 894,37 Sekunden, also 14,91 Minuten. vLLM brauchte 6,84 Stunden, das 27,55-Fache dieser Schätzung.

Zwei Ursachen. Zum einen der Overhead auf dem Host: Die CPU plant und verfolgt Anfragen, während die H100 untätig bleibt. Zum anderen der KV-Verlust: vLLM verwirft Key-Value-Cache, den es später wieder braucht. Bei Skalierungsfaktor 1,0 verarbeitete der Lauf dadurch 174,6 Millionen Tokens an verschwendetem Prefill.

Quails Ansatz setzt an der Struktur an. Mit einem Abfrageplan in der Hand kann die Engine den KV-Cache gezielt ordnen und verwerfen, eine Weiterentwicklung der Cascade Attention im Stil von Hydragen. Außerdem bündelt sie kleine Anfragen, damit die GPU ausgelastet bleibt. Modal beschreibt das Ergebnis als Punkt, an dem Datenbankplanung und Inferenz-Scheduling aufhören, getrennte Probleme zu sein.

Warum das für die Rechnung zählt

KI-SQL bezeichnet das Muster, bei dem SQL um benutzerdefinierte Funktionen erweitert wird, die ein LLM aufrufen. Snowflake Cortex AISQL, BigQuery AI Functions, Databricks AI Functions und seit Kurzem auch MotherDuck unterstützen das, wie das Full Stack Data Lab anmerkt. Ein Filter bedeutet einen Modellaufruf pro Zeile. Ein naiver Join bedeutet einen Aufruf für jedes Zeilenpaar. Eine Abfrage kann Hunderttausende oder Millionen Aufrufe erzeugen.

Vor diesem Hintergrund wird das allgemeine Preisbild unübersichtlicher statt klarer. Der September-Preisindex von AICostBudget, eingefroren zum Stichtag 2026-09-30 UTC, umfasst 81 öffentliche Datensätze von 11 Anbietern. Der mediane Eingabepreis liegt bei 1,32 Dollar pro Million Tokens, der mediane Ausgabepreis bei 6 Dollar. Der mediane Rabatt auf zwischengespeicherte Eingaben beträgt 90 Prozent, der mediane Batch-Rabatt 50 Prozent. Dieselbe Seite warnt, dass Listenpreise Planungsgrößen sind und keine Rechnungen.

Die rohen GPU-Stundensätze erzählen eine ähnliche Geschichte der Auseinanderentwicklung. GPUAdvisor verfolgt 14 Anbieter und erfasste zuletzt am 1. Oktober. Die Seite listet eine A4000 16GB bei Hyperstack für 0,15 Dollar pro Stunde, eine RTX 3090 bei Lium für 0,22 Dollar und eine L40S bei Lium für 0,38 Dollar, die sie als 89 Prozent unter AWS markiert. Die Zusammenfassung der Seite ist deutlich: GPU-Spezialisten-Clouds bieten zwei- bis viermal niedrigere Preise pro GPU als Hyperscaler. Spot-Instanzen können bei Trainingsläufen mit Checkpointing 60 bis 70 Prozent sparen.

FitMyLLM rechnet Stundensätze in Kosten pro Million Tokens um, und die Rangfolge kehrt sich um. Die günstigste gemessene Option ist eine RTX 3060 12GB bei Vast.ai mit 0,261 Dollar pro Million Tokens. Eine RTX 5090 bei Vast.ai ist mit 227 Tokens pro Sekunde die schnellste gemessene Karte, kostet aber 0,576 Dollar pro Million. Rechenzentrumskarten schneiden in dieser Single-Stream-Betrachtung schlecht ab, und FitMyLLM sagt das auch: Eine H100 rechtfertigt ihren Preis dadurch, dass sie viele Streams gleichzeitig bedient. Bei einem einzigen Stream liegt ihre Bandbreite weitgehend brach.

Die Effizienzfrage darunter

Energie ist die nächste Achse. Ein am 28. September auf der SOSP '26 vorgestelltes Papier von Prasoon Sinha, Dimitrios Liakopoulos, Nathan Lemma und Neeraja J. Yadwadkar argumentiert, dass eine Optimierung allein auf GPU-Auslastung den Energieverbrauch erhöhen kann. Ihr System EnerTune verspricht 1,4- bis 2,3-mal weniger Energie und 1,3- bis 2,6-mal geringere Leistungsaufnahme gegenüber dem Stand der Technik, bei Einhaltung der Performance-SLOs.

Nicht jeder Anbieter verfolgt dieselbe Kurve. MindOns Mind-1, am 30. September angekündigt, zielt auf die Latenz der Roboter-Inferenz und senkt sie von 82 ms auf 32 ms. Das ist eine andere Ecke desselben Problems: was eine Stunde Rechenzeit tatsächlich bringt.

Kommentare 0

Quellen

7
  1. 01Hitting 1B tokens/minute on 1 GPU combining a query planner and inference engineEN
  2. 02Jointly optimizing SQL queries and LLM inference for up to 14x speedupsEN
  3. 03AI API pricing index - September 2026EN
  4. 04Cloud GPU Pricing - Cost Intelligence for H100, A100 & B200EN
  5. 05Cloud GPU prices for LLM inference - cost per million tokensEN
  6. 06Beyond Utilization: Energy-Conscious GPU Sharing for Inference ServingEN
  7. 07Mind-1: Cutting robot inference latency from 82ms to 32msEN

Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.

Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.

Lena Brandt

Lena Brandt

KI, Modelle und Technik

Lena Brandt schreibt für FLASH24 über Technik, KI und Modelle sowie Medien und Internet und stützt sich dabei auf Herstellerangaben, Studien und öffentlich zugängliche Datensätze, statt Pressemitteilungen ungeprüft zu übernehmen. Bei Modellvergleichen kontrolliert sie Benchmark-Werte, Trainingsdaten und Versionsnummern und rechnet Angaben zu Rechenleistung und Kosten selbst nach. Sie spricht mit Entwicklern und Forschern, wartet auf angekündigte Updates und vergleicht Releases, bevor sie eine Einschätzung abgibt. Privat beschäftigt sie sich mit 3D-Druck, alten Rechnern und der Frage, wie Modelle aus Internetmüll lernen – Themen, die regelmäßig in ihre Texte einfließen. Sie publiziert keine Zahlen, deren Quelle sie nicht selbst überprüfen konnte.

Redaktion →

Kommentare

0
  1. Noch keine Kommentare — seien Sie der Erste.

Kommentar schreiben

Kommentare sind öffentlich sichtbar. Wir veröffentlichen keine Beleidigungen, Werbung oder Spam.