Quail reklamiert 1 Milliarde Token pro Minute auf einer einzelnen H100, während die Inferenzkosten auseinanderlaufen
Zwei neue Inferenz-Engines versprechen Effizienzgewinne in Größenordnungen auf derselben GPU-Hardware. Gleichzeitig zeigen OpenAIs neues 500-Dollar-Abo und eine Preismomentaufnahme vom September, dass sich der Markt pro Token weiter in entgegengesetzte Richtungen bewegt.

Am 30. September veröffentlichte das Full Stack Data Lab einen Blogbeitrag über Quail, eine Inferenz-Engine, die eigens für AI-SQL gebaut wurde. Gemeint sind die SQL-Erweiterungen, mit denen Abfragen große Sprachmodelle Zeile für Zeile aufrufen können. Das Projekt reklamiert mehr als eine Milliarde verarbeitete Token pro Minute auf einer einzelnen H100-GPU bei einer Abfrage mit mehreren Joins. Über einen neuen Benchmark für AI-SQL-Workloads hinweg nennt es außerdem einen geometrischen Mittelwert von 1,84-facher Beschleunigung gegenüber vLLM.
Das ist die Schlagzeile. Sie ist auch eng gefasst.
Die Zahl von einer Milliarde Token pro Minute stammt aus einer einzigen Abfrage, die das Team als eine beschreibt, bei der „das Planen besonders wichtig ist“, nicht aus einem Durchschnitt. Der breitere Benchmark-Wert von 1,84x ist der, den die Autoren als allgemeines Ergebnis präsentieren. Am selben Tag brachte Magnitude, ein Unternehmen aus dem Y-Combinator-Batch S25, eine Open-Source-Inferenz-Engine auf den Markt. Sie stimmt nach Angaben des Unternehmens ihre Kernel auf der Hardware des Nutzers ab, bevor ein Modell läuft. Das GitHub-README nennt bis zu 2x schneller als llama.cpp, mit 92 Prozent schnellerem Decode auf Apple Metal und 19 Prozent auf CUDA sowie 27 Prozent weniger Speicher pro Agent. Das Projekt steht unter Apache 2.0 und läuft auf Apple Silicon, NVIDIA, AMD oder nur auf der CPU.
Was die Zahlen tatsächlich vergleichen
Keine der beiden Aussagen ist eine allgemeine Aussage über den Preis von Inferenz. Magnitude vergleicht mit llama.cpp, einer Allzweck-Engine, und führt seinen Vorsprung auf handgeschriebene Kernel für verbreitete offene Modellfamilien zurück. Quail vergleicht mit vLLM und begründet seinen Vorsprung mit der gemeinsamen Optimierung von SQL-Abfrageplan und Inferenz-Engine. Millionen zusammenhängender Modellaufrufe teilen sich so Prefix-Caches, statt als einzelne Anfragen einzutreffen.
Der Beitrag des Full Stack Data Lab vom 24. September legt das Kostenproblem direkt dar: Eine AI-Funktion in einer SQL-Abfrage wertet ihren Prompt pro Zeile aus. Ein Filter braucht damit einen LLM-Aufruf pro Zeile, ein naiver Join einen Aufruf für jedes Paar von Zeilen aus seinen beiden Eingaben.
Die Benchmark-Abfrage des Teams, BIO-4, läuft über 5.000 lange medizinische Berichte, die mit 4.144 Reaktionsbegriffen verknüpft werden. Die Autoren schreiben, diese Aufrufe als einzelne Anfragen an eine Allzweck-Engine zu schicken, verursache hohe Kosten. Ihr Ansatz setzt auf der Ebene der Abfrage an. Der Blog von Modal zu derselben Arbeit nennt die Wirtschaftlichkeit deutlicher: unter 6 Cent pro Milliarde Token auf Modal-Hardware für die Abfrage mit einer Milliarde TPM. Diese Zahl ist der eigene Wert eines Anbieters für seine eigene Plattform, und sie gilt für eine Form von Abfrage, nicht für eine repräsentative Last.
Verschiedene Inferenzanwendungen erzeugen verschiedene Inferenz-Workloads, und AI-SQL ist da keine Ausnahme. Eine Abfrage wie die oben kann Millionen von Sequenzen mit Tausenden Token erzeugen.
Die Abo-Preise bewegen sich in die andere Richtung
Auf der Verbraucherseite ging OpenAI den entgegengesetzten Weg. Auf seinem DevDay am Dienstag kündigte das Unternehmen eine Pro-500-Stufe für 500 Dollar im Monat an, 300 Dollar mehr als beim bisherigen Spitzenplan, wie Business Insider berichtet. Die Stufe enthält Zugang zu „Ultrafast“-Rechenleistung für GPT-6 Astra in ChatGPT Work und Codex. Laut OpenAI bedeutet das eine 8-fache Geschwindigkeitssteigerung in Codex, dazu die höchste enthaltene Nutzung des Unternehmens.
OpenAI öffnete außerdem den 200-Dollar-Pro-Plan wieder, halbierte aber das Rechenkontingent.
Das Kontingent liegt nun beim 10-fachen des 20-Dollar-Plus-Plans statt beim 20-fachen, und die Chat-Nachrichten mit GPT-6 Pro sinken von 200 auf 100 pro Woche. Thibault Sottiaux, Engineering-Lead für Codex, schrieb am Montag in einem X-Post, die Änderungen ergäben unterm Strich halb so viel API-Ausgaben in Dollar wie der vorige Plan. „Ich wollte diese Änderung unbedingt vorab mitteilen, damit ihr sie alle versteht, bevor wir euch mit guten Nachrichten überschütten“, schrieb er, zitiert von Business Insider. Die beiden Schritte zeigen in entgegengesetzte Richtungen: ein günstigeres Kontingent pro Token auf der 200-Dollar-Stufe, eine deutlich teurere Stufe darüber. Bestehende Pro-Abonnenten erhalten während der Umstellung eine einmalige Gutschrift.
Eine separate Momentaufnahme, die AICostBudget am 30. September veröffentlichte, umfasst 81 öffentliche Preisangaben von 11 Anbietern. Sie nennt einen Median von 1,32 Dollar für Input und 6 Dollar für Output pro Million Token. Die beobachtete Spanne über 69 Datensätze mit einem Input-Wert reicht von 0,10 bis 30 Dollar, beim Output von 0,10 bis 180 Dollar. Der Output ist üblicherweise der höhere Listenpreisbestandteil, mit einem medianen Verhältnis von Output zu Input von 5,0x.
Derselbe Datensatz meldet einen medianen Rabatt auf gecachten Input von 90 Prozent über 58 vergleichbare Datensätze und einen medianen Batch-Rabatt von 50 Prozent über 44. In diesem Teil des Marktes kann der effektive Preis stark vom Listenpreis abweichen, und genau diesen Teil übersieht ein naiver Kostenvergleich meist.
Hardware, Energie und der Rest des Stacks
Effizienzarbeit dreht sich nicht nur um Token pro Sekunde. Ein auf der SOSP '26 am 28. September vorgestelltes Papier beschreibt EnerTune, ein Serving-System, das den Stromverbrauch pro Modell und den Verbrauch von Modellen modelliert, die gemeinsam auf geteilten GPUs laufen. Anschließend platziert und konfiguriert es sie mit einem energiebewussten Bin-Packing-Algorithmus. Die Autoren berichten von 1,4- bis 2,3-fach niedrigerem Energieverbrauch und 1,3- bis 2,6-fach niedrigerer Leistungsaufnahme als bei aktuellen Vergleichsverfahren, bei Einhaltung der Performance-SLOs. Ihr Argument: Wer allein auf Auslastung optimiert, kann den Energieverbrauch erhöhen, und das zählt, wenn die Rechnung nicht nur pro Token anfällt.
Auf der Roboterseite stellte MindOn am 30. September Mind-1 vor, ein Physical-AI-Modell, das nach Angaben des Unternehmens die Inferenzlatenz von Robotern von 82 ms auf 32 ms senkt.
Das Unternehmen merkt an, dass bei einer Endeffektor-Geschwindigkeit von 3 m/s 10 ms Latenz etwa 3 cm Bewegung entsprechen, genug, um präzises Greifen zu beeinflussen. Das ist ein anderer Markt als Inferenz im Rechenzentrum, aber dieselbe Einschränkung: Latenz und Kosten bestimmt die gesamte Pipeline, nicht das Modell allein.
Telekommunikationsbetreiber verfolgen bei den Infrastrukturkosten eine verwandte Logik. Light Reading berichtete am 30. September, dass StarHub und M1 in Singapur Fusionsgespräche führen. Dort teilen sie sich bereits 5G-Spektrum und Funkzugangsnetz über ein Gemeinschaftsunternehmen namens Antina. In Neuseeland haben 2degrees und OneNZ vorgeschlagen, ihre Funknetze in eine gemeinsam gehaltene Gesellschaft einzubringen. Der Artikel nennt für Singtel im Juni einen berichteten Anteil von 43 Prozent am Mobilfunkmarkt Singapurs, gegen 22 Prozent für M1, 21 Prozent für StarHub und 14 Prozent für Simba. Ein zusammengelegtes StarHub-M1 käme demnach auf eine ähnliche Größe wie Singtel. Die 5G-Vereinbarung von China Telecom und China Unicom gilt als größter solcher Sharing-Deal: Sie umfasst 1.500.000 Basisstationen und beansprucht Einsparungen von 56.000.000.000 Dollar bei den Investitionsausgaben.
Nicht jeder Versuch, Kosten durch zusätzliche Mechanik zu senken, funktioniert. Ein am 30. September veröffentlichter Beitrag von Gokul Kogan beschreibt, wie Pinecone einen nutzungsbasierten Preisrechner nach einem A/B-Test wieder entfernte. Besucher, die den Rechner nicht sahen, meldeten sich laut dem Beitrag 16 Prozent häufiger an und kontaktierten das Unternehmen 90 Prozent häufiger, ohne Zunahme von Support-Tickets zum Preis. In einer internen Umfrage erwarteten sieben von zehn Mitarbeitern, dass die Version mit Rechner besser abschneidet. Die Lehre ist eine Warnung für jeden, der einen Kostenschätzer für einen token-bepreisten Dienst baut: Eine Schätzung, die um eine Größenordnung danebenliegt, kann den Kunden ganz verlieren.
Zusammengenommen ergibt das Bild weniger einen einzelnen fallenden Preis als eine Reihe von technischen Wetten. Quail setzt auf abfragebewusstes Batching. Magnitude setzt auf Kernel-Kompilierung pro Gerät. EnerTune setzt auf leistungsbewusste Platzierung. OpenAI testet, wie viel eine kleine Zahl intensiver Nutzer für Geschwindigkeit zahlt, während die günstigere Stufe weniger Rechenleistung bekommt als zuvor. Die einzige Zahl, die über das gesamte Dossier stabil bleibt, ist die Form der Rechnung: Output-Token kosten mehr als Input, Cache- und Batch-Rabatte sind groß, und die Schlagzeilen aus jedem einzelnen Benchmark beschreiben eine Abfrage, auf einer Maschine, an einem Tag.
Quellen
10- 01Jointly optimizing SQL queries and LLM inference for up to 14x speedupsEN
- 02Hitting 1B tokens/minute on 1 GPU combining a query planner and inference engineEN
- 03Launch HN: Magnitude (YC S25) - Self-optimizing inference engine for agentsEN
- 04ChatGPT's new plan costs $500 a monthEN
- 05AI API pricing index - September 2026EN
- 06Beyond Utilization: Energy-Conscious GPU Sharing for Inference ServingEN
- 07Mind-1: Cutting robot inference latency from 82ms to 32msEN
- 08Singapore, New Zealand operators seek partnerships to cut costsEN
- 09The pricing calculator made people more confused about pricingEN
- 10Driving An EV Now Costs Half As Much As Diesel, New Analysis ShowsEN
Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.
Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.
Kommentare
0- Noch keine Kommentare — seien Sie der Erste.