Zum Inhalt
WeltzeitEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal über KI und Technologieereignisse · analysen · interviews · technischer hintergrund

Suche
LIVE
›

Inference-Academy-Benchmark: DeepSeek V4 Flash kostet bei kalten Requests 14,9-mal mehr

Derselbe Prompt an DeepSeek V4 Flash kann beim zweiten Mal 14,9-mal weniger kosten. Das zeigt ein Serving-Benchmark, den inference.academy am 7. September veröffentlicht hat und der 14 Anbieter sowie drei Eingabegrößen umfasst.

KI & ModelleNachrichtKatrin HoffmannVeröffentlicht: 28. September 20263 Min. LesezeitQuellen 1
Inference-Academy-Benchmark: DeepSeek V4 Flash kostet bei kalten Requests 14,9-mal mehr

Gemessen wird nicht die Qualität der Antworten. Inference.academy fuhr einen kontrollierten Aufbau über Zielgrößen von 1.000, 10.000 und 100.000 Eingabe-Tokens, jeweils mit einem Budget von 100 oder 1.000 Ausgabe-Tokens. Die Temperatur lag bei null, das Reasoning war abgeschaltet. Kalte Requests nutzten einen eindeutigen Prefix, warme Requests wiederholten denselben Prompt. Die Seite bezeichnet die Ergebnisse als Serving-Messungen, nicht als Bewertung der Aufgabenqualität.

Kosten sind definiert als gesamte Request-Gebühren geteilt durch Eingabe-Tokens, multipliziert mit 1.000.000, einschließlich der Ausgabegebühren. Das ist wichtig, weil der beworbene Eingabepreis auf einer Anbieterseite nicht das ist, was der Benchmark vergleicht. Die Studie nennt Kostenpunkte über 13 Routen für die Bedingung 10.000 Eingabe, 100 Ausgabe-Tokens, kalter Cache.

Die 14,9-mal ist der größte Abstand, den der Benchmark herausstellt. Bei DeepSeeks Requests mit 100.000 Eingabe-Tokens und einem Budget von 100 Ausgabe-Tokens kosteten warme Aufrufe in dieser Stichprobe 14,9-mal weniger als kalte. Warm heißt: derselbe Prompt wurde wiederholt. Der gemessene Cache-Anteil entscheidet, wie viel Eingabearbeit tatsächlich zum ungecachten Satz abgerechnet wurde.

Geschwindigkeit ist eine eigene Achse

Telnyx führte die mediane Generierungsgeschwindigkeit in allen 12 getesteten Bedingungen an. Die Latenz bis zum ersten Token folgte diesem Muster nicht. Laut Benchmark hing das schnellste erste Token von der Form des Requests ab. Ein Anbieter, der bei einem 1.000-Token-Prompt die beste Time-to-First-Token hat, muss das bei 100.000 Tokens nicht sein.

"Where you send a prompt changes what you pay, how long you wait, and whether the call succeeds."

Mit diesem Satz rahmt inference.academy die Übung ein. Die Zeitmessungen nutzen kalte Requests mit einem Budget von 100 Ausgabe-Tokens und einer gemeinsamen Achsenskala. TTFT läuft vom Start des Requests bis zum ersten Inhalts- oder Reasoning-Delta, das beim Client ankommt, und enthält Netzwerk- und Wartezeit. P90 nutzt lineare Interpolation zwischen geordneten Beobachtungen. Die Dekodiergeschwindigkeit wird nach dem Start des Streamings gemessen und als Abschluss-Tokens geteilt durch die Zeit vom ersten bis zum letzten Ausgabe-Delta angegeben. Nicht gestreamte Antworten bekommen gar keine Messung der Dekodiergeschwindigkeit.

Das Routing ist eine weitere Variable. Der Benchmark protokollierte die Upstream-Namen, die OpenRouter für jede Request-Form und Cache-Bedingung zurückgab. Er merkt an, dass ein wiederholter Prompt bei einem anderen Upstream landen kann, was sein Cache-Verhalten ändert.

In der warmen Bedingung 10.000 zu 100 entfielen 29 Aufrufe auf Together, 20 auf Novita und 17 auf CoreWeave. In der kalten Bedingung 10.000 zu 100 erschien Baidu 15-mal und Relace 13-mal. Die Seite stellt ausdrücklich klar, dass die Segmentbreite dem Anteil der Aufrufe entspricht und dass die Namen gemeldete Upstreams sind, keine verifizierten Maschinen. Sie schreibt auch, dass die Verteilung allein nicht erklärt, warum sich das Routing änderte.

Die Fehlerraten sind nach Eingabeziel und Ausgabebudget aufgeschlüsselt, kalt und warm getrennt verglichen. Der Benchmark warnt, dass eine Route anders reagieren kann, wenn derselbe Prompt eine längere Antwort verlangt. HTTP-, Transport- und Antwortfehler zählen alle als Fehlschlag, die genauen Zahlen stehen in Tabellen unter den Diagrammen. Null bedeutet kein beobachteter Fehler in dieser Stichprobe, keine Garantie.

Die praktische Lehre für alle, die Inferenzrechnungen bezahlen, ist enger als die Schlagzeile. Caching verändert die Rechnung bei langen Eingaben um mehr als eine Größenordnung, und der Anbieter, den man über einen Router erreicht, ist nicht fest. Der Benchmark deckt 14 Anbieter und 13 Routen in seinem Kostenstreudiagramm ab. Seine eigene Einordnung ist die sicherste Zusammenfassung: Es sind Serving-Messungen, und sie beschreiben, was in dieser Stichprobe geschah.

Kommentare 0

Quellen

1
  1. 01DeepSeek V4 Flash across 14 providers: cost, speed and cachingEN

Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.

Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.

Katrin Hoffmann

Katrin Hoffmann

KI, Modelle und Technik

Katrin Hoffmann schreibt für FLASH24 über Technik, KI und Modelle sowie Medien und Internet und stützt sich dabei auf Primärquellen wie Herstellerangaben, Studien und Protokolle statt auf Pressemitteilungen. Bei Benchmarks prüft sie Messmethoden, Testumgebungen und Reproduzierbarkeit, bevor sie Zahlen übernimmt. Für ihre Artikel spricht sie mit Entwicklern und Forschern, wartet auf Konferenzankündigungen und vergleicht Versionsstände von Modellen und Standards. Privat betreibt sie Selfhosting und Heimnetze und dokumentiert ihre eigene Infrastruktur, was ihrer Redaktionsarbeit zugutekommt. Sie veröffentlicht keine Zahlen ohne nachvollziehbare Quelle.

Redaktion →

Kommentare

0
  1. Noch keine Kommentare — seien Sie der Erste.

Kommentar schreiben

Kommentare sind öffentlich sichtbar. Wir veröffentlichen keine Beleidigungen, Werbung oder Spam.