Rdzenie RISC-V, braki T-glass i 3D DRAM w akceleratorach AI
Projekty akceleratorów AI zmieniają się w trzech miejscach naraz: kto licencjonuje klocki, kto dostanie materiały do pakowania i jak pamięć jest układana pod jednostką obliczeniową. The Register podał 19 września 2024 r., że SiFive oferuje teraz własne projekty akceleratorów, nie tylko rdzenie CPU RISC-V.

SiFive zbudował nazwę na rdzeniach CPU RISC-V, które inne firmy dokręcają do swoich chipów AI. W tym tygodniu firma poinformowała, że będzie licencjonować własny, kompletny akcelerator uczenia maszynowego. Seria Intelligence XM to klaster czterech rdzeni SiFive Intelligence X RISC-V połączonych z wewnętrznym silnikiem matematyki macierzowej, podał The Register.
John Ronco, starszy wiceprezes SiFive i dyrektor generalny na Wielką Brytanię, powiedział The Register, że część klientów nadal chce budować własny sprzęt. Inni, jak mówił, „chcieli bardziej kompleksowej oferty od SiFive”. Wcześniejsze prace firmy stawiały jej rdzenie CPU obok silników macierzowych innych dostawców, jak w jednostkach TPU Google'a. Klastry XM odwracają ten układ. SiFive dostarcza teraz cały projekt akceleratora. Klient go dostosowuje i wysyła do fabryki.
Co daje jeden klaster
Każdy bazowy klaster XM obsługuje do 1 TB/s przepustowości pamięci przez spójny interfejs hub. SiFive oczekuje do 16 TOPS w INT8 albo 8 teraFLOPS w BF16 na gigaherc.
Liczby na gigaherc mogą mylić, bo to nie jest gotowy chip. Ostateczna wydajność zależy od tego, ile klastrów klient postawi i jak je połączy. Liczy się też reszta układu oraz budżet mocy i chłodzenia. Ronco spodziewa się, że większość projektów użyje od czterech do ośmiu klastrów. Przy taktowaniu 1 GHz daje to od 4 do 8 TB/s szczytowej przepustowości pamięci i od 32 do 64 teraFLOPS w BF16. Nvidia H100 wyciąga blisko petaFLOPS gęstego BF16, więc porównanie wypada na korzyść Nvidii. Tyle że FLOPS nie są wszystkim w zadaniach ograniczonych przepustowością, jak wnioskowanie. Ronco przyznał, że klastry XM raczej nie przydadzą się do trenowania modeli.
Otwarte zostaje pytanie o skalę. Ronco nie chciał powiedzieć, jak daleko można rozciągnąć projekt. The Register zauważył, że limity wyznaczą technologia procesu i powierzchnia układu. Slajdy produktowe firmy sugerują, że możliwe jest 512 klastrów XM. Przy 1 GHz i bez problemów z ciepłem i zasilaniem dałoby to około czterech petaFLOPS macierzowych obliczeń w BF16. Najmocniejsze GPU Blackwell Nvidii mają w specyfikacji 2,5 petaFLOPS w BF16.
SiFive zapowiedział też, że opublikuje referencyjną implementację swojej biblioteki SiFive Kernel Library na zasadach open source, żeby obniżyć barierę wejścia dla RISC-V. Prezes Patrick Little twierdził w oświadczeniu, że firma dostarcza projekty chipów opartych na RISC-V pięciu z „Magnificent 7”. Ta grupa to Microsoft, Apple, Nvidia, Alphabet, Amazon, Meta i Tesla. The Register zaznaczył, że podejrzewa, iż nie cały ten krzem ma związek z AI.
Wąskie gardło w pakowaniu, którego nikt nie pilnuje
Projekty to jedno. Materiały to drugie. Japońska firma Nittobo kontroluje około 90% globalnych dostaw specjalnej tkaniny z włókna szklanego zwanej T-glass, podał Tom's Hardware. Ta tkanina siedzi w każdym zaawansowanym pakiecie chipu AI. T-glass to tkanina szklana o niskim CTE, używana w organicznym rdzeniu podłoży IC, warstwie łączącej chip z płytką drukowaną. Utrzymuje wymiarową stabilność dużych, gorących pakietów, gdy gęstość rośnie.
Popyt przerósł podaż. Nittobo potraja moce w zakładzie w Fukushimie, ale nowa produkcja trafi na rynek dopiero w połowie 2027 r. Ceny już wzrosły o 20% do 30%. Terminy dostaw materiałów w dół łańcucha, takich jak laminaty miedziane, rozciągnęły się z normalnych 8 do 10 tygodni do ponad 20. „Przy jeszcze bardziej ograniczonych dostawach T-glass dostawcy nie podają już terminów”, powiedział Tom's Hardware Bill Ho, analityk z Yuanta.
Zastąpienie T-glass nie jest proste. Bilal Hachemi z Yole Group, który śledzi łańcuch dostaw podłoży IC, powiedział, że materiał „ma określone wartości dielektryczne i CTE, które lepiej pasują do chipów AI, zwłaszcza do organicznego rdzenia”. Branża podłoży pracuje na cienkich marżach, więc nawet umiarkowany skok popytu może wywołać braki. „Każdy wzrost popytu na materiały do budowy warstw, materiał ABF czy T-glass może wywołać braki, bo to stoi w sprzeczności z podstawami tej branży”, mówił Hachemi.
Hiperskalerzy pogarszają sprawę, zamawiając coraz większe pakiety. Według danych Nvidii, na które powołał się Tom's Hardware, rozmiar interposerów wzrósł z 814 mm2 w Hopperze do 1 700 mm2 w Blackwellu, o 109%. Kolejne generacje Rubin i Feynman idą dalej. Bank of America szacuje, że segment materiałów elektronicznych Nittobo niemal podwoi sprzedaż z 40,9 mld jenów, około 266 mln dol., w 2025 r. do 87,7 mld jenów do marca 2028 r., przy marży operacyjnej blisko 48%.
Nittobo podwaja moce produkcyjne surowej przędzy w zakładzie na Tajwanie. Przędzę sprowadza z powrotem do Japonii, gdzie powstaje tkanina, a część tkania zleca Nanya Plastics, jednemu z największych konkurentów. Firma podała, że do 2027 r. około 20% jej tkaniny szklanej ma tkać Nanya. Hachemi powiedział, że bezpośredni kontakt Nvidii z dostawcą materiału tak wczesnego w łańcuchu, jak Nittobo, nie ma precedensu. Ostrzegł, że gdy Nvidia zabezpieczy swoją część, konkurencyjni kupcy chipów będą walczyć o resztę.
3D DRAM i ściana pamięci
Pamięć to trzeci front. Na Hot Chips 2026 d-Matrix pokazał akcelerator Raptor, który układa jednostkę obliczeniową bezpośrednio na warstwach DRAM, podał ServeTheHome. Wagi modeli rosną, a pamięć KV cache skaluje się z długością kontekstu pomnożoną przez wielkość partii. Przykład ServeTheHome: 64 użytkowników przy kontekście 1 000 000 może oznaczać około 935 GB pamięci KV cache. To problem i z pojemnością, i z przepustowością.
SRAM trafia w cel przepustowości, ale tylko w małej skali. Para kart akceleratora Corsair SRAM osiąga około 300 TB/s przy opóźnieniu rzędu 1 nanosekundy, a mieści tylko około 4 GB. HBM rozwiązuje pojemność, ale ma kłopot z przepustowością, twierdzi d-Matrix. Jego praktyczny sufit to około 20 TB/s dla pakietów HBM4, takich jak Nvidia Vera Rubin i AMD Instinct MI455. Układany 3D DRAM ląduje pomiędzy nimi. Pionowe 3D IO kosztuje około 0,3 do 0,4 pJ, około 10 razy mniej niż HBM, bo to ścieżka milimetrowej skali bez PHY, a nie centymetrowa trasa przez interposer.
Raptor kładzie układ logiczny TSMC N4 na warstwie 3D DRAM, łącząc je twarzą do twarzy w odstępie 36 mikronów. d-Matrix opisuje ten proces jako sprawdzony, tani, masowy i o wysokiej wydajności. Każda karta ma 32 GB. Firma twierdzi, że zestaw 72 kart pozwoli utrzymać model klasy Kimi K3 przy kontekście 1 000 000, z wagami 4-bitowymi i 8-bitowym KV cache.
Inżynieria nie jest skończona. d-Matrix podaje, że stos z jedną warstwą logiczną na górze, o gęstości mocy nie większej niż 0,5 W/mm2, da się chłodzić cieczą i utrzymać DRAM poniżej 100C. Układ ma 840 banków, 768 po odjęciu 72 zapasowych, w 256 kanałach, czyli 3 banki na kanał. Flit 128 000 000 000 B nie dzieli się przez to równo. Pojedynczy dostęp zwraca więc 96 000 000 000 B, a dwa dostępy pobierają 192 000 000 000 B, co marnuje około 33% przepustowości przy 33 TB/s. Schemat blokowania strumieni dzieli jeden częściowy dostęp 32 000 000 000 B między trzy flity i sprowadza nadmiarowe pobieranie do zera.
Zostaje moc I/O. Przesłanie 100 TB/s przy 0,37 pJ/bit to 296 W tylko na wejście i wyjście, a konwencjonalne DBI pozwoliłoby zaoszczędzić 20%. HBM może sobie pozwolić na DBI, bo jego wielocyklowe transmisje pozwalają PHY zobaczyć cały burst. Łącze 3D DRAM w d-Matrix jest jednocyklowe, 256-bitowe, bez burstu i bez pinu pomocniczego, który sygnalizowałby wybór inwersji. Firma używa więc odwracania strumienia: porównuje każdy flit z poprzednim i odwraca, gdy trzeba.
Nic z tego nie przyjdzie samo. Projekty akceleratorów RISC-V, niemal monopol na jedną tkaninę do pakowania i układany DRAM muszą się zejść, zanim ruszy kolejna generacja krzemu do centrów danych.
Źródła
3- 01SiFive shifts from RISC-V cores for AI chips to designing its own acceleratorEN
- 02Shortages of crucial chip packaging material threatens AI accelerator supply chainsEN
- 03D-Matrix Raptor 3D-DRAM Accelerator for Generative Inference at Hot Chips 2026EN
Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.
Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.
Komentarze
0- Brak komentarzy — bądź pierwszy.