Neue KI-Kostenwerkzeuge zielen auf Inferenzrechnungen, während GPU-Preisdaten zunehmen

Das neueste Werkzeug ist ein Inferenzkostenrechner, den der Entwickler Flavio Copes am 23. September veröffentlichte. Er vergleicht 27 Modelle von OpenAI, Anthropic, Google, xAI, Mistral, OpenRouter und Workers AI. Das Tool bewertet jedes Modell unter denselben Annahmen, damit Teams die Abwägung zwischen günstigen und leistungsfähigen Optionen sehen, nicht nur Listenpreise. Es übersetzt Produktannahmen in eine monatliche Rechnung: aktive Nutzer pro Tag, LLM-Aufrufe pro Nutzer, Eingabe- und Ausgabetoken pro Aufruf sowie eine optionale Trefferquote für den Prompt-Cache. Alles läuft im Browser, und ein Share-Link kodiert nur die Eingaben in der URL.

Diese Rahmung ist wichtiger als die einzelnen Zahlen.

Die Dokumentation des Rechners besagt, dass die Zahlen aus veröffentlichten API-Tarifen stammen. Batch-Preise, Unternehmensrabatte, Zuschläge für Bilder oder Tools sowie jegliche von der Kundschaft betriebene Caching-Schicht werden ignoriert. Das Tool bezeichnet die Ausgabe als Planungsschätzung, nicht als Anbieterangebot. Das ist ein ungewöhnlich schlichter Hinweis für ein Preistool und verweist auf den tatsächlichen Zustand dieses Marktes.

Zwei Wege, dasselbe GPU zu bepreisen

Dieselbe Woche brachte eine zweite Kategorie von Werkzeugen: Tracker, die stündliche GPU-Sätze in Kosten pro Million Token umrechnen. FitMyLLM liest Sätze live von der API jedes Anbieters, aktualisiert sie alle drei Minuten und cached sie zehn Minuten am Edge. Die Tabelle listet derzeit 47 Karten und 74 Angebote, von denen 19 gemessen und nicht geschätzt sind. Sie sortiert von günstigsten zu teuersten nach Kosten pro Million Token.

Das Ergebnis ist kontraintuitiv. Die günstigste Zeile in FitMyLLM ist eine Vast.ai RTX 3090 für 0,13 US-Dollar pro Stunde. Das ergibt 0,291 US-Dollar pro Million Token, markiert als gemessen. Die schnellste Zeile ist eine RTX 5090 mit 227 Token pro Sekunde. Sie kostet 0,576 US-Dollar pro Million Token, ebenfalls gemessen. Eine RTX 3090 auf RunPod für einen veröffentlichten Preis von 0,22 US-Dollar pro Stunde ergibt 0,494 US-Dollar pro Million Token.

Rechenzentrums-Karten schneiden hier schlecht ab, und das ist die Erkenntnis, kein Fehler. Eine H100 oder H200 verdient ihren Preis, indem sie viele Streams gleichzeitig bedient. Bei einem Stream bleibt ihre enorme Bandbreite weitgehend ungenutzt.

FitMyLLM macht deutlich, dass sich diese Rangfolge für jeden, der eine Menge statt eines einzelnen Nutzers bedient, umkehrt. Die Zeilen für H100 und H200 sind die unsichersten. Das Tool warnt auch, dass Marktplatzpreise die Auflistung eines einzelnen Hosts sind, kein veröffentlichter Tarif. Hosts können eine Karte unter ihrem Standard-Leistungslimit betreiben.

GPUAdvisor verfolgt den entgegengesetzten Ansatz. Es überwacht 13 Cloud-Anbieter und 132 Instanzen pro Knoten oder pro GPU, gruppiert nach Region und nach günstigsten zuerst sortiert. Der Snapshot, zuletzt am 28. September erfasst, zeigt eine RTX A4000 16GB für 0,10 US-Dollar pro Stunde auf GPU.ai als günstigsten Eintrag. Eine RTX 3090 24GB kostet 0,17 US-Dollar pro Stunde. Das Tool bemerkt, dass GPU-spezialisierte Clouds zwei- bis viermal niedrigere Preise pro GPU anbieten als Hyperscaler. GCP Spot bietet bis zu 70 Prozent Rabatt auf A100- und H100-Instanzen. Ein-Jahres-Verträge sparen 35 bis 40 Prozent. Es schließt mit demselben Hinweis wie alle anderen: Preise vor dem Einkauf auf den Anbieter-Preisseiten überprüfen.

Auslastung, nicht Aufkleberpreis

Krapton Engineering, das seinen Leitfaden zuletzt am 25. September aktualisiert hat, argumentiert, dass die entscheidende Metrik weder der Stundensatz noch der Tokenpreis, sondern die Auslastung ist. Eine H100, die 60 Prozent des Tages untätig ist, wird trotzdem abgerechnet. Ihre effektive Kosten pro Inferenz steigt entsprechend. Das Unternehmen beschreibt einen Kundenfall mit einem konversationellen KI-Chatbot. Die On-Demand-GPU-Nutzung lag in Nebenzeiten bei 30 bis 40 Prozent, selbst mit aggressivem Autoscaling. Die Verlagerung der vorhersehbaren Grundlast auf reservierte Instanzen und das Hinzufügen eines Kubernetes-Schedulers zur Ko-Lokalisierung von Inferenzanfragen senkten die Gesamtrechnung für Compute um 30 Prozent.

Das Rechenbeispiel von Krapton ist illustrativ, und es sagt das auch. Es modelliert eine GPU der Mittelklasse mit 1.000 Token pro Sekunde für ein 7B-Parameter-Modell. Die illustrative reservierte Kosten beträgt 0,75 US-Dollar pro Stunde nach einem 50-Prozent-Rabatt. Dazu kommen 0,25 US-Dollar pro Stunde Betriebskosten, die nicht in die API-Kosten eingerechnet werden. Das Tool betont, dass die tatsächlichen Preise von AWS, GCP oder Azure variieren und überprüft werden sollten. Die Zahl ist eine Form, kein Angebot.

aicost.ai rahmt dasselbe Problem als Dreierwahl statt als Binärcode: pro Token an einen Serverless-Host zahlen, eine dedizierte GPU stündlich mieten oder in der eigenen Cloud-Instanz laufen. Der Rechner standardisiert auf 2.500 Ausgabetoken pro Sekunde und 45 Prozent Auslastung. Es gibt Presets von 20 Prozent für niedrige reale Werte und 70 Prozent für gut gebatchte. Die daraus resultierende Anleitung ist bedingt. Serverless gewinnt bei niedriger oder burstiger Auslastung und günstigen Tokenpreisen. Dedizierte Miete gewinnt bei stabiler hoher Auslastung mit teuren Tokenpreisen. Self-Hosting gewinnt bei sehr hoher stabiler Auslastung mit reservierten oder Spot-Preisen, vorausgesetzt, man betreibt bereits Infrastruktur. Der Schnittpunkt, so heißt es, ist der gemischte Tokenpreis mal Volumen gegenüber GPU-Dollar pro Stunde mal Flottengröße.

Was die Tracker übersehen

Jedes dieser Werkzeuge veröffentlicht seine eigenen Einschränkungen, was mehr wert ist als die Tabellen. aicost.ai stellt fest, dass alle drei GPU-Beine volle Auslastung bei der angegebenen Durchsatzannahme annehmen. Setup, Betrieb, Netzwerk und Zuverlässigkeits-Overhead werden ausgeschlossen. Durchsatz variiert je nach Modell, Hardware, Batch-Größe und Prompt-Form. Daher ist er eine editierbare Eingabe, keine Konstante. Reservierte und Spot-Preise gehen davon aus, dass man die Kapazität tatsächlich halten oder zurückgewinnen kann. Spot kann unterbrochen werden.

FitMyLLM bemerkt, dass gebatchtes Serving pro Token günstiger ist. Eine untätige Karte wird trotzdem abgerechnet. Das Tool offenbart auch, dass Anbieter-Links einen Empfehlungscode enthalten können. Der Code ändert nicht, was gelistet ist oder wie die Tabelle sortiert. GPUAdvisor sagt, dass seine Preise ungefähre sind. Sie variieren je nach Region und Verfügbarkeit und widerspiegeln September 2026 Schätzungen.

Die praktische Erkenntnis ist eng gefasst. Am 28. September war der günstigste veröffentlichte On-Demand-Eintrag im Tracker von GPUAdvisor 0,10 US-Dollar pro Stunde. Die günstigste gemessene Kosten pro Million Token in der Tabelle von FitMyLLM war 0,291 US-Dollar. Beide Zahlen sind Planungseingaben, keine Verpflichtungen. Sie ändern sich mit den Arbeitslastannahmen, die ein Team eingibt.

Die Werkzeuge widersprechen sich auch im Schwerpunkt. FitMyLLM rangiert Konsumenten-Karten vor Rechenzentrums-Karten für Single-Stream-Serving und nennt das die Erkenntnis. Krapton betrachtet reservierte Kapazität als Mittelweg für vorhersehbare, anhaltende Arbeitslasten. aicost.ai betrachtet eigene Cloud als am günstigsten nur mit reserviertem oder Spot-Vertrag und hoher Auslastung. Sie mitteln nicht zu einer einzigen Antwort, weil es keine gibt.

Neu ist, dass die Annahmen jetzt offengelegt werden. Vor einem Jahr war der Stundensatz die einzige öffentliche Zahl. Die Umrechnung in Kosten pro Token geschah in einem Spreadsheet, das niemand teilte. Ab dieser Woche veröffentlichen drei separate Werkzeuge ihre Durchsatzzahlen, ihre Standard-Auslastungen und ihre Fehlerbalken. Ein viertes veröffentlicht sein Schätzdatum. Das macht die Zahlen nicht richtig. Es macht sie diskutierbar, was die Voraussetzung ist, um auf ihrer Basis Budgets zu erstellen.