Zum Inhalt
WeltzeitEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal über KI und Technologieereignisse · analysen · interviews · technischer hintergrund

Suche
LIVE
›

Wettlauf um Inferenzkosten: Quail reklamiert 1 Milliarde Token pro Minute, Magnitude optimiert Kernel auf dem Gerät

Zwei Engineering-Teams haben am 30. September getrennte Behauptungen veröffentlicht: Die Kosten für den Betrieb offener Modelle lassen sich senken, indem man die Art und Weise ändert, wie Inferenz-Engines mit Hardware und Abfragestruktur umgehen. Auf günstigere GPUs zu warten, reicht dafür nicht.

KI & ModelleAnalyseKatrin HoffmannVeröffentlicht: 30. September 20263 Min. LesezeitQuellen 6
Wettlauf um Inferenzkosten: Quail reklamiert 1 Milliarde Token pro Minute, Magnitude optimiert Kernel auf dem Gerät

Modal und das Full Stack Data Lab der Carnegie Mellon University erklärten am 30. September, Quail, ihre gemeinsam gebaute Inferenz-Engine, habe auf einer einzelnen H100-GPU für eine Multi-Join-AI-SQL-Abfrage mehr als 1.000.000.000 Token pro Minute verarbeitet. Das sind mehr als 10x ihrer vLLM-Baseline auf derselben Hardware, heißt es im Blogbeitrag von Modal. Auf Modals eigener Cloud ergibt das weniger als 6 Cent pro Milliarde Token. Hochgerechnet auf 4.000.000.000 Token pro Minute auf mehreren Karten nennt der Beitrag dieselbe Größenordnung.

Die Behauptung stützt sich auf eine bestimmte Arbeitslast. AI-SQL erweitert gewöhnliches SQL um Funktionen, die ein Sprachmodell aufrufen. Ein Filter kann damit pro Zeile einen Modellaufruf auslösen, ein Join einen Aufruf pro Zeilenpaar. Die technische Beschreibung des Full Stack Data Lab nennt eine Benchmark-Abfrage, BIO-4, über 5.000 medizinische Berichte und 4.144 Reaktionsterme. Auf vLLM 0.26.0 mit Qwen3 4B FP8 auf einer H100 dauerte sie bei Skalenfaktor 1.0 6,84 Stunden. Die Autoren berechnen daraus das 27,55-fache einer Roofline-Schätzung von 14,91 Minuten.

Arbeit an der Engine, nicht am Silizium

Diese Lücke ist das Argument. Die Autoren führen den Verlust auf Host-Overhead zurück: Die CPU plant Anfragen, während die H100 untätig bleibt. Dazu kommt, was sie KV-Regret nennen: vLLM verwirft Key- und Value-Cache, den es später wieder braucht. Der Blog des Labors beziffert die verschwendete KV-Arbeit der Abfrage auf 174.600.000 Token. Quail nimmt stattdessen den Abfrageplan als Eingabe. So kann die Engine Anfragen so ordnen, dass Cache wiederverwendet und gezielt verworfen wird.

Die beiden Texte setzen unterschiedliche Akzente. Modal stellt das Ergebnis um die einzelne beste Abfrage und die Zahl von 1.000.000.000 Token pro Minute. Das Full Stack Data Lab berichtet dagegen, Quail laufe 1,84x schneller als vLLM, wenn man über den neuen AI-SQL-Benchmark geometrisch mittelt. Darin stecken zwei Abfragen, die die Autoren bewusst auf verbleibende Schwächen hin entworfen haben. Beide Zahlenreihen stammen aus derselben Zusammenarbeit und sind damit keine unabhängige Prüfung.

Am selben Tag gab Magnitude, ein Unternehmen aus dem Y-Combinator-Batch S25, seine eigene Inferenz-Engine unter Apache 2.0 frei. Das GitHub-Repository behauptet, offene Modelle liefen bis zu 2x schneller als mit llama.cpp, mit 92% schnellerem Decode auf Metal und 19% auf CUDA. Der Mechanismus unterscheidet sich von dem bei Quail: Magnitude kompiliert und optimiert Kernel auf dem Gerät des Nutzers, bevor ein Modell läuft. Ausgelegt ist das auf Apple Silicon, Nvidia, AMD oder eine gewöhnliche CPU. Das Repository nennt außerdem 27% weniger Speicher pro Agent und geteilten Prefix-Cache zwischen gleichzeitigen Sitzungen.

Der Kontext beider Veröffentlichungen ist ein Markt, in dem die Listenpreise nicht gleichmäßig fallen. Der September-Snapshot von AICostBudget, eingefroren zum UTC-Stichtag am 30. September, umfasst 81 öffentliche Preisangaben von 11 Anbietern. Er setzt den Median für Input auf 1,32 US-Dollar pro Million Token und den für Output auf 6 US-Dollar, ein Verhältnis von 5,0x. Der Rabatt für gecachten Input liegt im Median bei 90%, der für Batch-Preise bei 50%. Teuer ist meist der Output, nicht die Verarbeitung des Prompts.

Auch Arbeit auf Hardware-Ebene wird inzwischen an Energie statt an Auslastung gemessen. Ein am 28. September auf der SOSP '26 veröffentlichter Beitrag, Beyond Utilization, argumentiert, dass die Optimierung von GPU-Multiplexing allein auf Auslastung den Energieverbrauch erhöhen kann. Das System EnerTune nutzt analytische Modelle der Leistungsaufnahme einzelner Modelle und der Stromaufnahme gemeinsam platzierter Modelle. Die Autoren berichten von 1,4x bis 2,3x weniger Energie und 1,3x bis 2,6x weniger Leistung gegenüber ungenannten State-of-the-Art-Baselines, bei eingehaltenen Leistungszielen.

Ein warnender Hinweis kommt von außerhalb der Infrastruktur. Gaurav Kogan von Pinecone beschrieb am 30. September, wie das Unternehmen seinen nutzungsbasierten Preisrechner nach einem A/B-Test entfernte. Besucher, die ihn nicht sahen, meldeten sich 16% häufiger an und nahmen 90% häufiger Kontakt auf, ohne dass die Support-Tickets zum Thema Preise zunahmen, schrieb er. Die Lehre lässt sich übertragen: Ein Werkzeug, das Kosten klären soll, kann die Entscheidung verzerren, für die es gebaut wurde.

Kommentare 0

Quellen

6
  1. 01Hitting 1B tokens/minute on 1 GPU combining a query planner and inference engineEN
  2. 02Building an Ultra-High Throughput AI-SQL EngineEN
  3. 03Launch HN: Magnitude (YC S25) – Self-optimizing inference engine for agentsEN
  4. 04AI API pricing index - September 2026EN
  5. 05Beyond Utilization: Energy-Conscious GPU Sharing for Inference ServingEN
  6. 06The pricing calculator made people more confused about pricingEN

Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.

Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.

Katrin Hoffmann

Katrin Hoffmann

KI, Modelle und Technik

Katrin Hoffmann schreibt für FLASH24 über Technik, KI und Modelle sowie Medien und Internet und stützt sich dabei auf Primärquellen wie Herstellerangaben, Studien und Protokolle statt auf Pressemitteilungen. Bei Benchmarks prüft sie Messmethoden, Testumgebungen und Reproduzierbarkeit, bevor sie Zahlen übernimmt. Für ihre Artikel spricht sie mit Entwicklern und Forschern, wartet auf Konferenzankündigungen und vergleicht Versionsstände von Modellen und Standards. Privat betreibt sie Selfhosting und Heimnetze und dokumentiert ihre eigene Infrastruktur, was ihrer Redaktionsarbeit zugutekommt. Sie veröffentlicht keine Zahlen ohne nachvollziehbare Quelle.

Redaktion →

Kommentare

0
  1. Noch keine Kommentare — seien Sie der Erste.

Kommentar schreiben

Kommentare sind öffentlich sichtbar. Wir veröffentlichen keine Beleidigungen, Werbung oder Spam.