Inferenzpreise splittern sich auf: Cache-Treffer, Sprachlatenz und Self-Hosting
DeepSeek-V4-Flash-Anfragen mit 100.000 Eingabe-Tokens kosten in einer kontrollierten Stichprobe warm 14,9-mal weniger als kalt. Das geht aus einem Benchmark hervor, den inference.academy am 7. September 2026 veröffentlichte.

Dieses eine Verhältnis, über 14 Routen gemessen, fasst zusammen, was in diesem Jahr mit den Inferenzpreisen passiert ist. Der ausgewiesene Preis pro 1.000.000 Tokens entscheidet die Rechnung nicht mehr. Cache-Zustand, Form der Anfrage und der antwortende Upstream verschieben die Kosten inzwischen um eine Größenordnung.
Der Aufbau von inference.academy war bewusst eng. Das Team testete Zielgrößen von 1.000, 10.000 und 100.000 Eingabe-Tokens, jeweils mit einem Budget von 100 oder 1.000 Ausgabe-Tokens, Temperatur 0 und abgeschaltetem Reasoning. Kalte Anfragen trugen ein eindeutiges Präfix, warme Anfragen wiederholten denselben Prompt. Der Autor bezeichnete die Werte als Serving-Messungen, nicht als Bewertung der Aufgabenqualität. Die Kosten waren definiert als gesamte Anfragekosten geteilt durch Eingabe-Tokens, multipliziert mit 1.000.000, einschließlich der Ausgabekosten. Es ist also nicht der gelistete Preis für Eingabe-Tokens.
Der Cache-Anteil ist die Summe der gecachten Eingabe-Tokens geteilt durch die Summe der Eingabe-Tokens bei den erfolgreichen Anfragen, die beide Werte melden. Es ist ein Token-Anteil, nicht der Prozentsatz der Anfragen, die den Cache treffen. Die warme Sequenz enthält ihre erste Anfrage.
Das Routing brachte eine zweite Variable ins Spiel, die die Studie nicht vollständig erklären konnte. Bei 1.000 Eingabe- und 100 Ausgabe-Tokens mit kaltem Cache gab OpenRouter 20 Upstream-Namen zurück, davon Baidu mit 18 Aufrufen, Relace mit 14 und AkashML mit 13. Dieselbe Anfrageform warm ergab 14 Namen, angeführt von Relace mit 24, CoreWeave mit 16 und DeepSeek mit 11. Der Bericht merkt an, dass ein wiederholter Prompt einen anderen Upstream erreichen kann, was das Cache-Verhalten ändert. Die Verteilung allein belegt aber nicht, warum sich das Routing verschob.
Telnyx führte die mediane Generierungsgeschwindigkeit in 12 von 12 Bedingungen an, laut demselben Benchmark. Das schnellste erste Token hing von der Form der Anfrage ab. Ein Modell, das bei einem kurzen Prompt flott wirkt, hält diese Position bei einem langen also nicht zwangsläufig.
Sprachmodelle konkurrieren um Millisekunden, dann um den Preis
Latenz-Benchmarks in der Sprachverarbeitung folgen einem ähnlichen Muster. Nari Labs schrieb am 14. September 2026, dass das Unternehmen Mitte September sowohl die Speech-to-Text- als auch die Text-to-Speech-Benchmarks von Coval anführt: Platz eins bei der Latenz und Platz zwei bei der Wortfehlerrate für STT, Platz zwei bei der Latenz und Platz eins bei der WER für TTS. Dazu kommt ein Vorbehalt, den man behalten sollte: Die Werte von Coval können sich alle 30 Minuten ändern.
Der Endpunkt Qwen3-ASR Fast des Unternehmens liegt beim Time-to-Final-Segment auf Platz eins, mit einem p50 von 44 ms und einer WER von 3,6%. Damit landet er hinter AssemblyAIs Universal 3.5 Pro mit 3,5% auf Platz zwei. Nari gibt an, der Fast-Endpunkt teile sich mit 0,12 US-Dollar pro Stunde den zweitniedrigsten Preis unter den Modellen mit bekannten öffentlichen Tarifen im Preisverzeichnis von Coval. Universal 3.5 Pro koste 3,75-mal mehr, Deepgram Nova 3 2,4-mal mehr. Der Standard-Endpunkt wäre mit 0,06 US-Dollar pro Stunde am günstigsten.
Auf der Synthese-Seite liegt Naris Modell Qwen3-TTS Fast beim Time-to-First-Audio mit einem p50 von 63 ms und einer WER von 3,8% auf Platz zwei, was laut Unternehmen Platz eins bei der Qualität bedeutet. Nur vui von Fluxions meldet einen niedrigeren medianen TTFA, mit 49 ms aus einem Modell mit 300.000.000 Parametern. Nari betreibt dagegen das 1.700.000.000 Parameter große Qwen3-TTS.
Bei 10 US-Dollar pro 1.000.000 Zeichen teilt sich Naris Fast-Endpunkt laut Unternehmen den niedrigsten Preis im Verzeichnis von Coval. ElevenLabs Eleven v3 Conversational kostet 5-mal mehr, Cartesia Sonic 3.6 6,5-mal mehr.
Der schärfste Vergleich im Beitrag betrifft Endpunkte, die dieselben Gewichte bedienen. Nari berichtet, der offizielle Qwen3 TTS Flash Realtime Endpunkt liege bei 8,8% WER und einem medianen TTFA im Bereich von Hunderten Millisekunden. Basetens dedizierter Qwen3-TTS-Endpunkt verzeichnet dagegen 6,0% WER und einen medianen TTFA im niedrigen Hunderterbereich. Gleiches Modell, anderer Serving-Stack, andere Zahlen.
Self-Hosting hat auch einen Preis, und der liegt im Betrieb
Nexlabs Erhebung vom 20. September 2026 zu selbst gehosteten Orchestratoren umfasst LocalAI, exo, GPUStack, Xinference, Ollama, vLLM und CoderAI, mit GitHub-Sternzahlen, die am selben Tag über die API abgerufen wurden. Die nützliche Spalte sind nicht die Sterne, sondern das, was jedes Werkzeug über mehrere Maschinen hinweg leistet.
- Ollama, mit 181.000 Sternen, bedient eine Maschine und ein Modell zur Zeit, ohne Cluster-Geschichte über das Round-Robin mehrerer Ollama-URLs hinaus.
- vLLM, mit 92.000 Sternen, beherrscht Tensor- und Pipeline-Parallelität über Ray, verwaltet aber keine Modelle, Nutzer oder Platzierung.
- LocalAI, mit 49.000 Sternen, bekam im Juni 2026 einen verteilten Modus mit libp2p-Discovery und einem Router, der VRAM und Präfix-Caches kennt; laut Erhebung bleibt sein roher LLM-Durchsatz um einige zehn Prozent hinter einer dedizierten Engine zurück.
- exo, mit 47.000 Sternen, skaliert auf Apple Silicon mit MLX und RDMA über Thunderbolt 5 und meldet 3,2-fach auf vier Geräten, läuft im September 2026 unter Linux aber nur auf der CPU.
- GPUStack, mit 5.700 Sternen, bietet Nutzer, Schlüssel, Abrechnung und Prometheus und unterstützt neun Beschleuniger-Hersteller.
LiteLLM, mit 59.000 Sternen, routet zwischen Endpunkten und Clouds, betreibt aber kein Modell. Diese Unterscheidung wird laut Erhebung oft übersehen.
Das Muster über alle drei Quellen ist, dass Kosten kein einzelner veröffentlichter Tarif mehr sind. Ein Gateway, das den Cache-Zustand ignoriert, ein Sprach-Endpunkt, der die Tail-Latenz ignoriert, oder ein Orchestrator, der Ausfallraten ignoriert, erzeugen jeweils eine Rechnung oder ein Nutzererlebnis, das der Listenpreis nicht vorhersagte.
Was keine dieser Quellen klärt, ist die Dauerhaftigkeit der Lücken. Cache-Rabatte hängen vom Routing ab, das Routing ändert sich zwischen Aufrufen, und Benchmark-Positionen verschieben sich innerhalb einer Stunde. Wer zwei Anbieter anhand einer einzigen Zahl vergleicht, vergleicht das Falsche.
Quellen
3- 01DeepSeek V4 Flash across 14 providers: cost, speed and cachingEN
- 02Show HN: Nari Qwen3-TTS and Qwen3-ASREN
- 03Self-hosted inference orchestrators compared: LocalAI, exo, GPUStack, vLLMEN
Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.
Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.
Kommentare
0- Noch keine Kommentare — seien Sie der Erste.