DeepSeek V4 Flash kostet mit warmem Cache 14,9-mal weniger, zeigt ein Benchmark von 14 Anbietern
Wer denselben Prompt zweimal an DeepSeek V4 Flash schickt, kann die Kosten einer Anfrage um das 14,9-Fache senken. Das zeigt ein Serving-Benchmark, den inference.academy am 7. September veröffentlicht hat. Für den Test lief das Modell über 14 Anbieter.

Das Benchmark maß einen kontrollierten Aufbau: Eingabegrößen von 1.000, 10.000 und 100.000 Token, jeweils kombiniert mit einem Ausgabebudget von 100 oder 1.000 Token, Temperatur 0 und abgeschaltetem Reasoning. Kalte Anfragen trugen ein eindeutiges Präfix. Warme Anfragen wiederholten denselben Prompt. Die Seite stellt ausdrücklich klar, dass es sich um Serving-Messungen handelt und nicht um Werte zur Aufgabenqualität.
Die Kosten in der Studie sind nicht der gelistete Preis pro Eingabe-Token. Sie ergeben sich aus den gesamten Anfragekosten geteilt durch die Eingabe-Token, multipliziert mit einer Million; Ausgabekosten sind also eingerechnet. In der Stichprobe kosteten Anfragen an DeepSeek V4 Flash mit 100.000 Eingabe-Token und 100 Token Ausgabebudget warm 14,9-mal weniger als kalt.
Das Routing bleibt zwischen Aufrufen nicht stabil
Das Benchmark protokollierte außerdem, welche Upstream-Namen OpenRouter für jede Anfrageform zurückgab. Diese Namen verschieben sich mit der Cache-Bedingung. Bei kalten Aufrufen mit 1.000 Eingabe-Token und 100 Ausgabe-Token führte Baidu die Liste mit 18 Aufrufen an, gefolgt von Relace mit 14 und AkashML mit 13. In derselben Form warm führte Relace mit 24, CoreWeave mit 16 und DeepSeek mit 11.
Bei 100.000 Eingabe-Token und einem Ausgabebudget von 100 Token gingen kalte Anfragen überwiegend an Baidu (7), DigitalOcean (3), Relace (3) und Wafer (3). Warme Anfragen derselben Form gingen an Relace (14), Together (6) und CoreWeave (5). Die Autoren warnen, dass die Segmentbreite nur den Anteil der Aufrufe zeigt. Sie weisen auch darauf hin, dass es sich um gemeldete Upstreams handelt und nicht um geprüfte Maschinen, und dass diese Verteilung allein nicht erklärt, warum sich das Routing änderte.
Bei der Geschwindigkeit führte Telnyx die mediane Generierungsgeschwindigkeit in allen 12 Bedingungen an. Die Latenz bis zum ersten Token hing von der Anfrageform ab, nicht von einem einzelnen Sieger. Die Seite definiert die Zeit bis zum ersten Token als die Spanne vom Start der Anfrage bis zum ersten Inhalts- oder Reasoning-Delta, das beim Client ankommt, einschließlich Netzwerk- und Wartezeit. Die Dekodiergeschwindigkeit ist die Zahl der gemeldeten Completion-Token geteilt durch die verstrichene Zeit vom ersten bis zum letzten Ausgabe-Delta. Nicht gestreamte Antworten liefern keinen Messwert für die Dekodiergeschwindigkeit.
Die Zeitmessung umfasst nur erfolgreiche Aufrufe.
Cache-Anteil und Fehlerraten
Der Cache-Anteil in der Studie ist die Summe der gecachten Eingabe-Token geteilt durch die Summe der Eingabe-Token, und zwar für erfolgreiche Aufrufe, die beides gemeldet haben. Gemessen wurde das an wiederholten Prompts mit 10.000 Token und einem Ausgabebudget von 100 Token. Das ist ein Token-Anteil, nicht der Prozentsatz der Anfragen, die einen Cache getroffen haben, und die warme Sequenz enthält ihre erste Anfrage.
Die Fehlerraten sind nach Eingabegröße, Ausgabebudget und Cache-Bedingung aufgeschlüsselt. Die Autoren merken an, dass eine Route anders reagieren kann, wenn derselbe Prompt eine längere Antwort verlangt. Die Fehlerrate ist die Zahl der fehlgeschlagenen Aufrufe geteilt durch die gemessenen Aufrufe in dieser Bedingung; gezählt werden HTTP-, Transport- und Antwortfehler. Genaue Zahlen und beschreibende Intervalle stehen in Tabellen unter den Diagrammen, die Rohdaten sind herunterladbar. Eine angegebene Null bedeutet, dass in der Stichprobe kein Fehler beobachtet wurde. Nicht gemessene Felder kennzeichnet das Benchmark als nicht berichtet, nicht als Null.
Für Käufer ist die praktische Lesart eng. Der Abstand zwischen kalt und warm ist groß genug, dass bei wiederkehrenden Arbeitslasten die Wiederverwendung von Prompts und nicht allein die Wahl des Anbieters die Rechnung bestimmen dürfte. Dieselben Zahlen zeigen aber auch, dass ein wiederholter Prompt bei einem anderen Upstream landen kann. Das entscheidet darüber, ob ein Cache-Rabatt überhaupt greift.
Quellen
1Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.
Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.
Kommentare
0- Noch keine Kommentare — seien Sie der Erste.