Inferenz-Engine Quail schafft über eine Milliarde Token pro Minute, während die Anbieterpreise steigen
Quail, eine Inferenz-Engine aus dem Full Stack Data Lab, hat auf einer einzelnen H100-GPU mehr als eine Milliarde Token pro Minute verarbeitet. Das geht aus am 30. September veröffentlichten Ergebnissen hervor. Auf derselben Hardware ist die Engine über 10-mal schneller als die vLLM-Basislinie, auf Modal kostet sie weniger als 6 Cent pro Milliarde Token.

Die Zahlen kommen zu einem Zeitpunkt, an dem GPU-Kapazität teurer wird. AWS soll laut Berichten eine Preiserhöhung von 15 Prozent für GPU-Kapazität zum 7. Oktober angekündigt haben. Nebius hob die Inferenzpreise Ende September um 18,3 Prozent an, wie separate Berichte melden. Vor diesem Hintergrund veröffentlichten diese Woche mehrere Projekte aus der Inferenzschicht Benchmarks, die die Kosten von der Softwareseite angehen.
Quail steht für QUery-Aware Inference Layer und stammt aus dem Full Stack Data Lab. Das Team beschreibt die Engine als gemeinsame Optimierung von SQL-Query-Planer und Inferenz-Engine, gebaut für AI-SQL: SQL, erweitert um benutzerdefinierte Funktionen, die ein LLM aufrufen. Die eigene Benchmark-Auswertung der Engine nennt 1,84-mal schnellere Werte als vLLM, geometrisch gemittelt über die Aufgaben. Darunter sind zwei Abfragen, die die Autoren bewusst so entwarfen, dass sie zeigen, wo die AI-SQL-Inferenz noch Arbeit braucht.
Die Arbeitslast hat mit einem Chatbot nichts zu tun.
Eine AI-Funktion wertet ihren Prompt Zeile für Zeile aus. Deshalb kann eine einzelne SQL-Abfrage Hunderttausende oder Millionen Modellaufrufe erzeugen, heißt es in dem technischen Beitrag des Labors vom 30. September. Ein Filter braucht einen LLM-Aufruf pro Zeile, ein naiver Join einen Aufruf für jedes Paar von Zeilen aus zwei Eingabetabellen. Diese Aufrufe als einzelne Anfragen an eine Allzweck-Engine wie vLLM zu schicken, verursacht laut dem Beitrag hohen Overhead, weil die Anfragen Präfixe teilen, die sich wiederverwenden ließen.
Die BIO-4-Abfrage des Labors in seinem QUAIL-B-Benchmark zeigt den Maßstab: 5.000 lange medizinische Berichte werden mit 4.144 Reaktionsbegriffen verknüpft, wobei die Reaktionsliste zweimal für zwei Joins dient. Der Plan filtert die Begriffsmengen nach kardiovaskulären und neurologischen Reaktionen und verknüpft dann die verbleibenden Berichte mit jeder dieser Mengen. Naiv ausgeführt würde das einen Prompt pro Filtereingabe und einen Prompt pro Kandidatenpaar aus Bericht und Reaktion bedeuten.
Quails Antwort ist, Planer und Engine voneinander wissen zu lassen. Quail ist in Version 0.1.0 veröffentlicht, mit einem Beispiel, das eine Abfrage gegen den IMDB-Datensatz mit qwen3-4b-fp8 auf einem h100-sxm-Gerät ausführt. Die Benchmark-Auswertung der Engine nennt die Zahl von einer Milliarde Token pro Minute für eine Multi-Join-Abfrage, bei der die Planung am meisten zählt. Auf identischer Hardware ist das mehr als 10-mal schneller als die vLLM-Basislinie.
Modal, wo die Demo läuft, beziffert die Kosten auf unter 6 Cent pro Milliarde Token. Dieser Wert gilt für ein bestimmtes Abfrageprofil: kleine Modelle mit offenen Gewichten, die kurze, begrenzte Entscheidungen treffen, keine langen agentischen Ketten. Die Autoren des Labors nennen DocETL von der UC Berkeley, LOTUS von Stanford, Palimpzest vom MIT und ThalamusDB von Cornell als akademische Systeme im selben Feld. Sie führen Techniken wie MOAR, Task Cascades, Abacus und BARGAIN an, die Aufrufzahlen und Modellgrößen senken.
Ihre Behauptung ist, dass ein Plan auch nach diesen Optimierungen Hunderttausende oder Millionen Aufrufe verlangen kann. Genau dort lohnt sich eine eigens gebaute Engine.
Quail ist nicht das einzige Projekt, das auf lokale Hardware zielt. Magnitude, ein Unternehmen aus dem YC-S25-Jahrgang, brachte am 30. September eine Open-Source-Inferenz-Engine für Agenten heraus und veröffentlichte sie auf GitHub unter Apache 2.0. Das README behauptet, offene Modelle liefen bis zu 2-mal schneller als llama.cpp, aufgeschlüsselt in 92 Prozent schnelleres Decoding auf Metal und 19 Prozent auf CUDA. Der Mechanismus ist Kompilierung und Kernel-Tuning auf dem Gerät des Nutzers, bevor ein Modell läuft, statt vorkompilierter Kernel für breite Hardwareklassen.
Magnitude behauptet außerdem 27 Prozent weniger Speicher pro Agent, freigegeben, wenn Agenten stoppen, und gemeinsame Nutzung des Prefix-Cache über gleichzeitige Sitzungen hinweg. Unterstützt werden Apple Silicon, NVIDIA, AMD oder reine CPU. Dazu kommen Verbindungen zu Pi, OpenCode, Hermes, OpenClaw, Codex, Claude Code, Oh My Pi und Cline, mit einer OpenAI-kompatiblen API für alles andere. Laut dem Unternehmen bleiben Prompts, Dateien und Modelle auf dem Rechner, und nach dem Download eines Modells ist kein Internet nötig.
Beide Projekte argumentieren mit derselben Rechnung: Inferenz weg von abgerechneten Cloud-Endpunkten und hin zu Hardware, die der Käufer bereits besitzt oder zu einem festen Satz mietet. Die Preisdaten zeigen, warum dieses Argument ankommt.
Der September-Preisindex von AICostBudget, eingefroren mit Stichtag 30. September, umfasst 81 öffentliche Datensätze von 11 Anbietern. Der mediane Eingabepreis über 69 nicht-leere Skalare liegt bei 1,32 Dollar pro Million Token, der mediane Ausgabepreis bei 6 Dollar. Der mediane Ausgabepreis ist 5,0-mal so hoch wie der Eingabepreis. Die beobachteten Spannen sind weit: Eingaben reichen von 0,10 bis 30 Dollar pro Million Token, Ausgaben von 0,10 bis 180 Dollar.
Der Index beziffert auch die Rabattstrukturen, die Listenpreise irreführend machen. Über 58 vergleichbare Datensätze liegt der mediane Rabatt auf zwischengespeicherte Eingaben bei 90 Prozent, beobachtet von 75 bis 98 Prozent. Über 44 batchfähige Datensätze liegt der mediane Batch-Rabatt auf Eingaben bei 50 Prozent, beobachtet von 20 bis 50 Prozent. Die Schlussfolgerung des Berichts ist deutlich: Ein Workload-Vergleich, der Cache- und Batch-Preise ignoriert, lässt veröffentlichte Sparmodelle für einen großen Teil der erfassten Datensätze aus.
Die Medianwerte je Anbieter im selben Datensatz setzen OpenAI auf 2 Dollar Eingabe und 11 Dollar Ausgabe über 18 Datensätze, Google Gemini auf 0,75 und 4,125 Dollar über 14, Anthropic auf 5 und 25 Dollar über 13, xAI auf 1,25 und 2,5 Dollar über neun, Mistral AI auf 0,20 und 0,60 Dollar über sieben, DeepSeek auf 0,30 und 1,2 Dollar über drei, Moonshot AI auf 0,95 und 4 Dollar über drei und Cohere auf 1,5 und 5,75 Dollar über zwei. Der Bericht warnt, dass Dokumentseiten, Speicher, Sitzungsdauer und andere zeitbasierte Einheiten sich nicht in eine reine Token-Tabelle pressen lassen und dass 13 Datensätze Nicht-Token-Komponenten enthalten.
Nicht jedes Kostenproblem ist ein Preisproblem. Ein am 28. September auf der SOSP '26 vorgestelltes Paper argumentiert, dass die Optimierung von GPU-Clustern allein auf Auslastung den Energieverbrauch erhöhen kann. Die Autoren Prasoon Sinha, Dimitrios Liakopoulos, Nathan Lemma und Neeraja J. Yadwadkar stellen EnerTune vor. Das System baut analytische Modelle für Leistung und Stromverbrauch je Modell sowie die Leistungsaufnahme mitbetriebener Modelle auf gemeinsam genutzten GPUs in einen energiebewussten Bin-Packing-Algorithmus ein, der Platzierung und Konfiguration zusammen wählt.
Ihr Abstract nennt Energieeinsparungen von 1,4- bis 2,3-fach und eine Senkung der Leistungsaufnahme um das 1,3- bis 2,6-Fache gegenüber dem Stand der Technik, bei Einhaltung der Performance-SLOs. Das Paper argumentiert, dass das Profiling jedes Modells über Hunderte von Konfigurationen im Maßstab zu teuer ist. Deshalb beruht der Ansatz auf Modellen statt auf Messungen.
In der physischen KI ist Latenz die Einschränkung, nicht Durchsatz. MindOn veröffentlichte am 30. September Mind-1 und behauptet, die Inferenzlatenz von Robotern von 82 ms auf 32 ms zu senken. Der Beitrag des Unternehmens merkt an, dass bei einer Endeffektor-Geschwindigkeit von 3 m/s 10 ms Latenz etwa 3 cm Bewegung entsprechen, genug, um präzises Greifen, Einführen oder kontaktintensive Manipulation zu beeinflussen. MindOn weist auch auf das Tempo der Trainingsdaten hin: Ein großer Teil der Manipulationsdaten stammt aus der Teleoperation, die langsamer ist als natürliche menschliche Bewegung, und die Modelle lernen das Tempo zusammen mit der Aufgabe.
Dieselbe Effizienzlogik zeigt sich außerhalb der KI. CleanTechnica berichtete am 29. September, dass eine Analyse von Transport & Environment die Betriebskosten von E-Autos auf weniger als die Hälfte der Dieselkosten pro Kilometer setzt, basierend auf 6,9 L/100 km Dieselverbrauch gegen 20,2 kWh/100 km elektrisch und einem Strompreis von 0,343 Euro/kWh. Antony Froggatt von T&E sagte, die EU solle Ölgewinne besteuern, um Unterstützung für einkommensschwache Haushalte und Verschrottungsprogramme zu finanzieren. Die Ladeschätzung von T&E wird in der eigenen Methodik als wahrscheinlich obere Grenze beschrieben.
Telekommunikationsanbieter verfolgen dasselbe Muster über Konsolidierung. Light Reading berichtete am 30. September, dass StarHub und M1 in Singapur Fusionsgespräche führen, wo das Paar bereits 5G-Spektrum und Funkzugangsnetz über ein gemeinsam gehaltenes Unternehmen namens Antina teilt. Singtel soll im Juni einen Mobilfunkanteil von 43 Prozent gehabt haben, M1 22 Prozent, StarHub 21 Prozent und Simba 14 Prozent. In Neuseeland haben 2degrees und OneNZ vorgeschlagen, ihre Funknetze in eine gemeinsam gehaltene Einheit zusammenzuführen, mit einer Entscheidung der Commerce Commission im nächsten Jahr. Light Reading nennt die 5G-Vereinbarung von China Telecom und China Unicom als größte solche Partnerschaft, mit 1.500.000 Basisstationen und behaupteten Capex-Einsparungen von 56.000.000.000 Dollar.
Ob Quails Durchsatz zu niedrigeren Rechnungen für gewöhnliche AI-SQL-Nutzer führt, ist noch nicht belegt. Die Zahl von 1.000.000.000 Token pro Minute stammt aus einer Multi-Join-Abfrage, die gewählt wurde, weil dort die Planung am meisten zählt. Der gemittelte Benchmark der Engine über den gesamten Aufgabensatz liegt bei 1,84-fach, nicht bei 10-fach. Das Labor selbst nahm zwei Abfragen auf, die aktuelle Schwächen offenlegen sollen. Quail steht bei Version 0.1.0.
Quellen
9- 01Jointly optimizing SQL queries and LLM inference for up to 14x speedupsEN
- 02Hitting 1B tokens/minute on 1 GPU combining a query planner and inference engineEN
- 03AI API pricing index - September 2026EN
- 04Launch HN: Magnitude (YC S25) - Self-optimizing inference engine for agentsEN
- 05Beyond Utilization: Energy-Conscious GPU Sharing for Inference ServingEN
- 06Mind-1: Cutting robot inference latency from 82ms to 32msEN
- 07The pricing calculator made people more confused about pricingEN
- 08Driving An EV Now Costs Half As Much As Diesel, New Analysis ShowsEN
- 09Singapore, New Zealand operators seek partnerships to cut costsEN
Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.
Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.
Kommentare
0- Noch keine Kommentare — seien Sie der Erste.