Ściana pamięci w akceleratorach AI: d-Matrix, Microsoft i 3D DRAM
Akceleratory AI trafiają na problem pamięci, który konstruktorzy coraz częściej rozwiązują, układając chipsy pionowo. Na Hot Chips 2026 d-Matrix przekonywał, że jego konstrukcja Raptor, w której układ logiczny z procesu TSMC N4 leży na warstwie 3D DRAM, bije limit przepustowości, jaki według firmy osiągają pakiety HBM, około 20 TB/s.

Wagi modeli rosną. Pamięć KV skaluje się z długością kontekstu pomnożoną przez wielkość partii. ServeTheHome, relacjonując prezentację d-Matrix na Hot Chips 2026 z 14 września, podaje rachunek: 64 użytkowników przy kontekście 1 000 000 tokenów to około 935 GB pamięci KV. Wagi i pamięć podręczna razem tworzą problem pojemności i przepustowości naraz. Jedno i drugie rośnie.
SRAM osiąga docelową przepustowość, ale tylko w drobnej skali. Dwie karty akceleratorów Corsair SRAM dają około 300 TB/s przy opóźnieniu rzędu 1 ns, mieszczą jednak tylko około 4 GB. Komórka SRAM 6T jest około 10 razy większa od komórki DRAM. Upływy sięgają dziesiątek watów przy skali GB. Dzięki temu SRAM nadaje się na model szkicowy w dekodowaniu spekulatywnym, nie na trzymanie wag modeli frontier.
HBM rozwiązuje pojemność, nie przepustowość
HBM rozwiązuje połowę problemu, czyli pojemność, ale słabo radzi sobie z przepustowością. Szybkość pinów i szerokość wejścia na układ bazowy rosną wolno. Liczbę stosów ogranicza dostępne miejsce na obwodzie pakietu, około 8 do 16 stosów na pakiet. d-Matrix podaje praktyczny limit przepustowości około 20 TB/s dla pakietów HBM4, takich jak NVIDIA Vera Rubin i AMD Instinct MI455.
Tak wysoka przepustowość ma swoją cenę w mocy. Przy 2,4 pJ/bit przetłoczenie 100 TB/s przez HBM pochłania około 1,92 kW, zanim dojdzie jakikolwiek ruch szyny. Według tekstu ServeTheHome pakiety nie mają dziś ani miejsca na obwodzie, ani budżetu mocy, żeby dorównać przepustowości SRAM przy pomocy HBM.
Odpowiedzią d-Matrix jest ułożenie logiki bezpośrednio na warstwach DRAM. Takie układanie tworzy wyzwanie termiczne, bo setki watów muszą ujść przez TSV w stosie DRAM wrażliwym na temperaturę. Rodzi też problem z dostarczaniem mocy z powodu spadku IR. d-Matrix twierdzi, że stos 1-Hi z logiką na górze o gęstości nie większej niż 0,5 W/mm2 da się chłodzić cieczą i utrzymać DRAM poniżej 100 C.
Firma umieszcza 3D DRAM między dwiema skrajnościami na drabinie energii. SRAM w układzie kosztuje około 50 fJ. Systemy 2,5D HBM4 mieszczą się w przedziale 2,5 do 5 pJ, gdy wliczyć energię na poziomie chipu. Pionowe 3D IO kosztuje około 0,3 do 0,4 pJ, około 10 razy mniej niż HBM, bo to ścieżka bez PHY w skali milimetrowej, a nie trasa przez interposer w skali centymetrowej. Mniej warstw niż w HBM oznacza też większy układ i lepszą wydajność produkcyjną.
Dekodowanie zjada czas
Prefill przetwarza wiele tokenów promptu równolegle i ogranicza go przepustowość obliczeń. Dekodowanie tworzy jeden token naraz i zwykle ogranicza je przepustowość pamięci. Uwaga może przejść w tryb ograniczony obliczeniami przy wysokim GQA i dekodowaniu spekulatywnym. MoE pozostaje ograniczone pamięcią nawet przy niewielkich partiach. Dekodowanie to faza, która chce ogromnej przepustowości.
Ponieważ dekodowanie dominuje w czasie zegarowym, najważniejsza jest część ograniczona pamięcią. d-Matrix zauważa, że większość czasu wnioskowania upływa w fazie dekodowania, więc poprawa przepustowości dekodowania poprawia całą wydajność wnioskowania. Przy 32 GB na kartę, wagach 4-bitowych i 8-bitowej pamięci KV d-Matrix dobiera system tak, żeby zmieścił się w jednej szafie. Skalowanie do 72 kart pozwala pomieścić model frontier, taki jak Kimi K3, przy kontekście 1 000 000. Dezagregacja i konfiguracje wieloszafowe wychodzą poza jedną szafę Raptor.
Sama implementacja nazywa się Raptor. Układ logiczny z procesu TSMC N4 leży na warstwie 3D DRAM, połączony 36 um w układzie twarzą do twarzy, w procesie, który d-Matrix opisuje jako sprawdzony, tani, masowy i o wysokiej wydajności. Każdy silnik tensorowy potrzebuje flitu 128 000 000 000 B na dostęp. Przy 32 000 000 000 B dostarczanych na dostęp do kolumny z banków 32 000 000 000 B wychodzi potrzeba 4 banków na kanał. Układ ma 840 banków, 768 po odjęciu 72 zapasowych, rozłożonych na 256 kanałów, czyli tylko 3 banki na kanał. Przy 3 bankach na kanał pojedynczy dostęp zwraca 96 000 000 000 B. Dostarczenie flitu 128 000 000 000 B wymaga więc dwóch dostępów i pobiera 192 000 000 000 B, marnując około 33 procent przepustowości w pobliżu 33 TB/s.
Blokowanie strumieni odzyskuje te straty. d-Matrix dzieli jeden częściowy dostęp 32 000 000 000 B między trzy flity, więc 4 dostępy po 96 000 000 000 B zasilają 3 flity po 128 000 000 000 B, przy 384 000 000 000 B na wejściu i tyle samo na wyjściu. Nadmiarowe pobieranie spada do zera i nie trzeba sieci przesuwającej. Przetłoczenie 100 TB/s przy 0,37 pJ/bit daje 296 W tylko na wejście i wyjście, a konwencjonalne DBI oszczędziłoby 20 procent. Odwracanie strumieni daje te 20 procent bez dodatkowego pinu. Porównuje każdy flit z poprzednim i odwraca go, gdy trzeba, a jeden bit metadanych na flit jedzie razem z ECC.
Maia 200 od Microsoftu idzie inną drogą
Microsoft wykorzystał Hot Chips 2026, żeby opisać swój drugi akcelerator Maia 200, któremu ServeTheHome poświęcił tekst 26 sierpnia. Układ w procesie 3 nm ma 140 000 000 000 tranzystorów, sześć stosów HBM3e, 7 TB/s przepustowości HBM i 750 W TDP, a jego wydajność FP4 wynosi 10 000 TFLOPS na układzie SoC o powierzchni 820 mm2. Korzysta z architektury przepływu danych Software Defined Local Access, w której przepływ ustala się w czasie kompilacji, a dostęp do danych zostaje w elementach obliczeniowych. Nie ma sieci scale-out: slajd Microsoftu pokazuje 128 szaf i 6 000 układów w domenie scale-up po ujednoliconym Ethernecie.
Dwa różne zakłady, jedno wspólne ograniczenie. Czy rozwiązaniem jest układanie DRAM pod logiką, czy łączenie HBM z przepływem danych definiowanym programowo, obie konstrukcje kształtuje koszt przenoszenia bitów do pamięci i z powrotem.
Źródła
2- 01d-Matrix Raptor 3D-DRAM Accelerator for Generative Inference at Hot Chips 2026EN
- 02Microsoft's Maia 200 AI Accelerator at Hot Chips 2026EN
Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.
Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.
Komentarze
0- Brak komentarzy — bądź pierwszy.