Przejdź do treści
Czas na świecieEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal o AI i technologiiwydarzenia · analizy · wywiady · tło techniczne

Szukaj
NA ŻYWO
›

Benchmark Inference Academy: DeepSeek V4 Flash kosztuje 14,9 razy więcej przy zimnych zapytaniach

Wyślij ten sam prompt dwa razy do DeepSeek V4 Flash, a drugie wywołanie może kosztować 14,9 razy mniej. To największa różnica w benchmarku serwowania, który inference.academy opublikował 7 września. Obejmuje 14 dostawców i trzy rozmiary wejścia.

AI i modeleNewsMarta ZielińskaOpublikowano: 28 września 20263 min czytaniaŹródła 1
Benchmark Inference Academy: DeepSeek V4 Flash kosztuje 14,9 razy więcej przy zimnych zapytaniach

Pomiar nie dotyczy jakości odpowiedzi. Inference.academy uruchomił jeden kontrolowany układ dla wejść o docelowym rozmiarze 1 000, 10 000 i 100 000 tokenów, każde w parze z budżetem wyjścia 100 lub 1 000 tokenów. Temperaturę ustawiono na zero, a rozumowanie wyłączono. Zimne zapytania miały unikalny prefiks. Ciepłe powtarzały ten sam prompt. Serwis nazywa wyniki pomiarami serwowania, nie ocenami jakości wykonania zadania.

Koszt oznacza tu łączne opłaty za zapytanie podzielone przez tokeny wejścia i pomnożone przez 1 000 000. Obejmuje też opłaty za wyjście. To istotne, bo cena wejścia podana na stronie dostawcy to nie to samo, co porównuje benchmark. Badanie podaje punkty kosztowe dla 13 tras w wariancie 10 000 wejścia, 100 tokenów wyjścia i zimnego cache.

Liczba 14,9x to największa różnica, którą benchmark wyróżnia. Przy zapytaniach DeepSeek z wejściem 100 000 i budżetem wyjścia 100 w tej próbce ciepłe wywołania kosztowały 14,9 razy mniej niż zimne. Ciepłe znaczy powtórzony prompt. Zmierzony udział cache decyduje o tym, ile pracy wejścia rozliczono po stawce bez cache.

Szybkość to osobna oś

Telnyx prowadził w medianie szybkości generowania we wszystkich 12 testowanych warunkach. Opóźnienie pierwszego tokena nie szło tym samym wzorem. Benchmark podaje, że najszybszy pierwszy token zależał od kształtu zapytania. Dostawca, który wygrywa w czasie do pierwszego tokena przy prompcie 1 000, niekoniecznie wygrywa przy 100 000.

"To, gdzie wyślesz prompt, zmienia to, ile płacisz, jak długo czekasz i czy wywołanie się uda."

Ten cytat pokazuje, jak inference.academy ujmuje całe ćwiczenie. Panele czasowe używają zimnych zapytań z budżetem wyjścia 100 tokenów i wspólną skalą osi. TTFT liczy się od startu zapytania do pierwszej delty treści lub rozumowania, którą otrzyma klient, i obejmuje czas sieci oraz kolejki. P90 korzysta z interpolacji liniowej między uporządkowanymi obserwacjami. Szybkość dekodowania mierzy się po rozpoczęciu streamingu. Podaje się ją jako tokeny ukończenia podzielone przez czas od pierwszej do ostatniej delty wyjścia. Odpowiedzi niestreamowane w ogóle nie dostają pomiaru szybkości dekodowania.

Routing to kolejna zmienna. Benchmark zapisał nazwy upstreamów, które OpenRouter zwracał dla każdego kształtu zapytania i warunku cache. Odnotowuje, że powtórzony prompt może trafić do innego upstreamu, co zmienia zachowanie jego cache.

W wariancie ciepłym 10 000 do 100 Together odpowiadał za 29 wywołań, Novita za 20, a CoreWeave za 17. W wariancie zimnym 10 000 do 100 Baidu pojawił się 15 razy, a Relace 13. Serwis wprost zaznacza, że szerokość segmentu to udział wywołań. Mówi też, że nazwy to zgłoszone upstreamy, a nie zweryfikowane maszyny. Sam rozkład nie wyjaśnia, dlaczego routing się zmienił.

Odsetki błędów są rozbite według celu wejścia i budżetu wyjścia, z osobnym porównaniem zimnych i ciepłych. Benchmark ostrzega, że trasa może zachować się inaczej, gdy ten sam prompt prosi o dłuższą odpowiedź. Błędy HTTP, transportu i odpowiedzi liczą się jako porażki, a dokładne liczby są w tabelach pod wykresami. Zero oznacza brak zaobserwowanej porażki w tej próbce, nie gwarancję.

Praktyczny wniosek dla płacących za inferencję jest węższy niż nagłówek. Cache zmienia rachunek o więcej niż rząd wielkości przy długich wejściach. Dostawca, do którego trafiasz przez router, nie jest stały. Benchmark obejmuje 14 dostawców i 13 tras na wykresie kosztów. Jego własne ujęcie jest najbezpieczniejszym podsumowaniem: to pomiary serwowania i opisują, co wydarzyło się w tej próbce.

Komentarze 0

Źródła

1
  1. 01DeepSeek V4 Flash across 14 providers: cost, speed and cachingEN

Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.

Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.

Marta Zielińska

Marta Zielińska

AI, modele i technologie

Marta Zielińska pisze o technologiach, AI i modelach oraz mediach i internecie, opierając się na dokumentacji, preprintach i danych z API, a nie na zapowiedziach producentów. Przy każdej publikacji sprawdza karty modeli, parametry treningowe i benchmarki, a liczby porównuje z niezależnymi testami i wynikami z repozytoriów. Rozmawia z badaczami i inżynierami, czeka na kolejne wydania modeli i zestawia ich działanie z wcześniejszymi wersjami. Prywatnie drukuje w 3D, naprawia stare komputery i sprawdza, jak modele uczą się na śmieciach z internetu. Nie publikuje wyników, których nie może odtworzyć na własnym sprzęcie.

Redakcja →

Komentarze

0
  1. Brak komentarzy — bądź pierwszy.

Dodaj komentarz

Komentarze są widoczne publicznie. Nie publikujemy wulgaryzmów, spamu i treści reklamowych.