Przejdź do treści
Czas na świecieEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal o AI i technologiiwydarzenia · analizy · wywiady · tło techniczne

Szukaj
NA ŻYWO
›

DeepSeek V4 Flash kosztuje 14,9 razy mniej przy ciepłym cache. Benchmark 14 dostawców

Ten sam prompt wysłany do DeepSeek V4 Flash dwa razy może kosztować 14,9 razy mniej. Tak wynika z benchmarku serwowania, który inference.academy opublikowało 7 września. Model przechodził przez 14 dostawców.

AI i modeleNewsAnna KaczmarekOpublikowano: 28 września 20263 min czytaniaŹródła 1
DeepSeek V4 Flash kosztuje 14,9 razy mniej przy ciepłym cache. Benchmark 14 dostawców

Benchmark mierzył jeden kontrolowany układ: cele wejściowe 1 000, 10 000 i 100 000 tokenów, każdy w parze z budżetem wyjściowym 100 lub 1 000 tokenów, temperatura 0 i wyłączone rozumowanie. Zimne żądania niosły unikalny prefiks, ciepłe powtarzały ten sam prompt. Serwis wyraźnie zaznacza, że to pomiary serwowania, a nie oceny jakości wykonania zadania.

Koszt w badaniu to nie cennikowy koszt tokenów wejściowych. To łączne opłaty za żądanie podzielone przez tokeny wejściowe i pomnożone przez milion, więc opłaty za wyjście też są wliczone. W całej próbie żądania DeepSeek V4 Flash z wejściem 100 000 i budżetem wyjściowym 100 kosztowały 14,9 razy mniej na ciepło niż na zimno.

Routing nie jest stabilny między wywołaniami

Benchmark zapisywał też, jakie nazwy upstreamów zwracał OpenRouter dla każdego kształtu żądania. Te nazwy zmieniają się wraz ze stanem cache. W zimnych wywołaniach z wejściem 1 000 i wyjściem 100 prowadził Baidu z 18 wywołaniami, za nim szły Relace z 14 i AkashML z 13. Ten sam kształt na ciepło prowadziły Relace z 24, CoreWeave z 16 i DeepSeek z 11.

Przy wejściu 100 000 i budżecie wyjściowym 100 tokenów zimne żądania trafiały głównie do Baidu (7), DigitalOcean (3), Relace (3) i Wafer (3). Ciepłe żądania tego samego kształtu szły do Relace (14), Together (6) i CoreWeave (5). Autorzy ostrzegają, że szerokość segmentu to tylko udział wywołań. Zaznaczają też, że nazwy to zgłoszone upstreamy, a nie zweryfikowane maszyny, i że sam ten rozkład nie wyjaśnia, dlaczego routing się zmienił.

W szybkości Telnyx prowadził medianę tempa generowania we wszystkich 12 warunkach. Opóźnienie pierwszego tokena zależało od kształtu żądania, a nie od jednego zwycięzcy. Serwis definiuje czas do pierwszego tokena jako okres od startu żądania do pierwszej porcji treści lub rozumowania, którą otrzymał klient, z czasem sieci i kolejki włącznie. Tempo dekodowania to zgłoszone tokeny ukończenia podzielone przez czas od pierwszej do ostatniej porcji wyjścia. Odpowiedzi niestrumieniowe nie dają pomiaru tempa dekodowania.

Czasy obejmują tylko udane wywołania.

Udział cache i odsetek błędów

Badanie podaje udział cache jako sumę tokenów wejściowych z cache podzieloną przez sumę tokenów wejściowych dla udanych wywołań, które zgłosiły oba. Zmierzono go na powtarzanych promptach 10 000 z budżetem wyjściowym 100 tokenów. To udział tokenów, a nie odsetek żądań, które trafiły w cache, a sekwencja ciepła obejmuje swoje pierwsze żądanie.

Odsetek błędów jest rozbity według celu wejściowego, budżetu wyjściowego i stanu cache. Autorzy zauważają, że trasa może zachować się inaczej, gdy ten sam prompt prosi o dłuższą odpowiedź. Odsetek błędów to wywołania nieudane podzielone przez zmierzone w danym warunku, licząc błędy HTTP, transportu i odpowiedzi. Dokładne liczby i przedziały opisowe są w tabelach pod wykresami, a surowe rekordy można pobrać. Podane zero oznacza brak zaobserwowanego błędu w próbie. Benchmark oznacza niezmierzone pola jako niezgłoszone, a nie jako zero.

Dla kupujących praktyczny wniosek jest wąski. Różnica między zimnem a ciepłem jest tak duża, że przy powtarzalnych obciążeniach rachunek może zdominować ponowne użycie promptu, a nie sam wybór dostawcy. Te same liczby pokazują jednak, że powtarzany prompt może trafić na inny upstream. To zmienia odpowiedź na pytanie, czy zniżka za cache w ogóle zadziała.

Komentarze 0

Źródła

1
  1. 01DeepSeek V4 Flash across 14 providers: cost, speed and cachingEN

Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.

Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.

Anna Kaczmarek

Anna Kaczmarek

AI, modele i technologie

Anna Kaczmarek pisze o technologiach, AI i modelach oraz mediach i internecie, opierając się na dokumentacji, repozytoriach i danych źródłowych, a nie na komunikatach prasowych. Przy testach modeli sprawdza karty techniczne, parametry wejściowe i liczy wyniki na tych samych zbiorach, zamiast powtarzać liczby od producentów. Czeka na premiery API i aktualizacje wag, rozmawia z inżynierami oraz porównuje wersje modeli pod kątem kosztów i opóźnień. Prywatnie self-hostuje usługi i konfiguruje sieci domowe, więc do redakcji wnosi praktykę z własnego serwera. Nie publikuje zapowiedzi ani parametrów, których nie może odtworzyć na własnym środowisku.

Redakcja →

Komentarze

0
  1. Brak komentarzy — bądź pierwszy.

Dodaj komentarz

Komentarze są widoczne publicznie. Nie publikujemy wulgaryzmów, spamu i treści reklamowych.