Przejdź do treści
Czas na świecieEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal o AI i technologiiwydarzenia · analizy · wywiady · tło techniczne

Szukaj
NA ŻYWO
›

DeepSeek-V4.1-Flash: niemal siedmiokrotny wzrost przepustowości na kartach PCIe

Chiński zespół raportuje skok przepustowości DeepSeek-V4.1-Flash w systemie PCIe bez NVLink. Przykład pokazuje, ile wydajności kryje się w oprogramowaniu.

TechnologiaAnalizaAnna KaczmarekOpublikowano: 24 września 20266 min czytaniaŹródła 2
DeepSeek-V4.1-Flash: niemal siedmiokrotny wzrost przepustowości na kartach PCIe

Portal QbitAI (量子位) opublikował 24 września 2026 roku raport o doświadczeniach chińskiej firmy METASTONE (是石科技). Zespół uruchomił DeepSeek-V4.1-Flash na ośmiu kartach GPU połączonych wyłącznie przez PCIe, bez NVLink. Brakowało więc szybkiego sprzężenia, na które takie modele są zwykle projektowane.

Punkt wyjścia i wynik końcowy

Autorzy podają jako wartość bazową 1.932 tokeny na sekundę dla przepustowości wejściowej. Po pierwszych poprawkach jąder, szybszym wyborze ścieżki dla wstępnego przetwarzania opartego na sparse attention, wymianie jąder FP8 dense GEMM i przyspieszeniu ścieżki PCIe IPC system osiągał już 5.850 tokenów na sekundę. Kolejne optymalizacje, takie jak fuzja operatorów attention, krótsze szkice przy dekodowaniu spekulatywnym, przeplatanie obliczeń z komunikacją oraz parametry pamięci, pozwoliły dojść do 13.274 tokenów na sekundę. To około 6,87 razy więcej niż na starcie. Długość kontekstu do miliona tokenów udało się utrzymać.

Pomiary porównawcze wskazują, że to nie jednorazowy wynik. DeepSeek-V4-Flash wzrósł z 14.546 do 22.584 tokenów na sekundę w przepustowości wejściowej, co daje czynnik 1,55. Model GLM 5.3 poprawił się z 3.236,78 do 6.222,72 tokenów na sekundę.

Dlaczego to istotne dla Niemiec

Raport ma dwa wymiary. Pierwszy jest techniczny: modele działające na sprzęcie bez szybkiego połączenia pośredniego tracą dużą część przewagi wydajności nie przez sam sprzęt, lecz przez ścieżki pamięci i komunikacji. Optymalizacja tych ścieżek przynosi wzrost o czynniki, nie o punkty procentowe.

Drugi wymiar dotyczy eksploatacji. DeepSeek-V4.1-Flash opublikowano 10 września 2026 roku. Model ma 552 miliardy parametrów w architekturze Mixture-of-Experts, aktywując 8 miliardów parametrów w prefill i 16 miliardów w decode. Pamięć KV cache wynosi 890 bajtów na token, czyli około jedną czwartą wartości V4-Flash. Model jest dostępny na licencji MIT, przetwarza obrazy do 384 tokenów na obraz i można go uruchamiać przez vLLM, SGLang lub TensorRT. Obsługiwane są formaty FP8, BF16, GPTQ, AWQ i GGUF.

METASTONE zarządza ponad 20.000 petaflopsów mocy obliczeniowej, prowadzi ponad dziesięć inteligentnych centrów danych i dwa krajowe centra superkomputerowe. Jako referencję wymienia trzy nagrody Gordona Bella. Dla lokalnej inferencji kluczowe jest przesunięcie wartości: nie decyduje zakup nowego sprzętu, lecz umiejętność opanowania hierarchii pamięci i współbieżności dla konkretnego modelu.

Sześć razy szybciej bez nowego sprzętu. Różnica między 1.932 a 13.274 tokenami na sekundę to oprogramowanie.

Komentarze 0

Źródła

2
  1. 01量子位 (QbitAI): 8卡PCIe纯软优化, DeepSeek-V4.1-Flash 吞吐提升 6.87 倍ZH
  2. 02Hugging Face: DeepSeek-V4.1-Flash model card (552B MoE, MIT, 1M context)EN

Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.

Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.

Anna Kaczmarek

Anna Kaczmarek

AI, modele i technologie

Anna Kaczmarek pisze o technologiach, AI i modelach oraz mediach i internecie, opierając się na dokumentacji, repozytoriach i danych źródłowych, a nie na komunikatach prasowych. Przy testach modeli sprawdza karty techniczne, parametry wejściowe i liczy wyniki na tych samych zbiorach, zamiast powtarzać liczby od producentów. Czeka na premiery API i aktualizacje wag, rozmawia z inżynierami oraz porównuje wersje modeli pod kątem kosztów i opóźnień. Prywatnie self-hostuje usługi i konfiguruje sieci domowe, więc do redakcji wnosi praktykę z własnego serwera. Nie publikuje zapowiedzi ani parametrów, których nie może odtworzyć na własnym środowisku.

Redakcja →

Komentarze

0
  1. Brak komentarzy — bądź pierwszy.

Dodaj komentarz

Komentarze są widoczne publicznie. Nie publikujemy wulgaryzmów, spamu i treści reklamowych.