Co jest w środku akceleratora AI. T-glass, HBM i wąskie gardło dekodowania

Nittobo ma około 90% światowego rynku T-glass, podał Tom's Hardware. Ta tkanina szklana o niskim CTE leży w organicznym rdzeniu podłoży IC. Firma potraja moce w zakładzie w Fukushimie. Nowe dostawy trafią na rynek dopiero w połowie 2027 r.

Luka jest już widoczna w cenach i harmonogramach. Ceny T-glass wzrosły o 20 do 30%. Czas realizacji materiałów w dalszej części łańcucha, na przykład laminatów pokrytych miedzią, wydłużył się z typowych 8 do 10 tygodni do ponad 20. „Ponieważ podaż T-glass jest teraz jeszcze bardziej ograniczona, dostawcy nie podają już terminów realizacji”, powiedział Tom's Hardware Bill Ho, analityk w Yuanta. Skurcz widać najpierw w ofertach, których handlowcy nie utrzymają dłużej niż kilka dni. Potem w harmonogramach, wokół których projektanci fabless budują okna premier. Nikt w łańcuchu nie powie publicznie, jak długo potrwa napięcie. Nikt nie chce być tym, kto się pomylił.

Dlaczego podłoże waży więcej niż liczba tranzystorów

Akcelerator AI to nie jeden chip. To obudowa: układy logiczne, stosy pamięci, interposer i podłoże, które łączy to wszystko z płytą drukowaną. Organiczny rdzeń podłoża musi pozostać płaski, gdy obudowa się nagrzewa i stygnie. Wypaczona obudowa zrywa mikroskopijne połączenia między układami. T-glass utrzymuje wymiary, a jego parametry dielektryczne i rozszerzalność cieplna są dostrojone dokładnie do tego zadania.

Bilal Hachemi śledzi łańcuch dostaw podłoży IC w Yole Group. Powiedział Tom's Hardware Premium, że zastąpienie T-glass nie jest proste. T-glass „ma określone wartości dielektryczne i CTE, które lepiej pasują do chipów AI, zwłaszcza do organicznego rdzenia”, stwierdził. Wskazał też na strukturę branży, która zamienia niewielkie wstrząsy popytu w niedobory. Biznes podłoży IC od dawna działa na cienkich marżach. Dlatego „każdy wzrost popytu na materiały do budowy warstw, materiał ABF czy T-glass może wywołać niedobór, bo to kłóci się z podstawami tej branży”. Ta struktura powstała przed boomem AI. Zbudowano ją dla rynku, na którym popyt na podłoża rósł wolno i przewidywalnie. Nie przebudowano jej dla rynku, na którym jeden cykl produktowy potrafi podwoić zamówienia w ciągu roku.

Popyt nie jest subtelny. Każda generacja akceleratora AI używa większego interposera i bardziej złożonego podłoża. To znaczy więcej materiału na jednostkę. Według danych Nvidii, na które powołuje się Tom's Hardware, powierzchnia interposera wzrosła z 814 mm² w Hopperze do 1 700 mm² w Blackwellu, o 109%. Nadchodzące generacje Rubin i Feynman idą dalej.

Bank of America szacuje, że sprzedaż segmentu materiałów elektronicznych Nittobo prawie się podwoi z 40,9 mld jenów (266 mln dol.) w 2025 r. do 87,7 mld jenów do marca 2028 r. Marża operacyjna zbliża się do 48%. „Popyt na tkaninę T-glass prawdopodobnie wzrośnie bardziej, niż początkowo zakładano”, powiedział Takashi Enomoto, analityk Bank of America. Dodał, że uwaga skupiała się na grubym T-glass do obudów GPU i CPU. Popyt na ultracienki T-glass prawdopodobnie wzrośnie, gdy najnowocześniejsze urządzenia zaczną odchodzić od E-glass.

Nittobo nie czeka. Poza Fukushimą podwaja moce w produkcji przędzy w zakładzie na Tajwanie i wysyła przędzę do Japonii do tkania. Ma też umowę o współpracy z Nanya Plastics, której zleca część tkania. Tom's Hardware zwraca uwagę na symbolikę: Nittobo łączy siły z jednym ze swoich największych konkurentów. Do 2027 r. około 20% tkaniny szklanej Nittobo ma tkać Nanya.

Pamięć to druga połowa wąskiego gardła

Jeśli podłoże decyduje, czy obudowę da się zbudować, pamięć decyduje, jak szybko odpowie. d-Matrix wykorzystał swoją prezentację na Hot Chips 2026 o akceleratorze Raptor, opisanej przez ServeTheHome, żeby przedstawić arytmetykę. Wagi modeli rosną. Pamięć KV cache skaluje się z długością kontekstu pomnożoną przez wielkość batcha. Dlatego 64 użytkowników przy kontekście 1 000 000 może oznaczać około 935 GB KV cache.

Podział między obliczeniami a pamięcią widać w dwóch fazach wnioskowania. Prefill przetwarza wiele tokenów promptu równolegle i ogranicza go przepustowość obliczeń. Decode produkuje jeden token na raz i zwykle ogranicza go przepustowość pamięci. Decode dominuje w czasie rzeczywistym, więc zyski są w paśmie. SRAM osiąga wymagane pasmo, ale tylko w małej skali. Para kart akceleratora Corsair SRAM sięga około 300 TB/s przy opóźnieniu około 1 ns i mieści tylko około 4 GB. Komórka SRAM 6T jest około 10 razy większa od komórki DRAM.

HBM rozwiązuje pojemność, ale nie pasmo. d-Matrix podaje praktyczny sufit około 20 TB/s dla pakietów HBM4, takich jak Nvidia Vera Rubin i AMD Instinct MI455. Ograniczają go prędkość pinów, szerokość I/O i miejsce na obudowie na około 8 do 16 stosów. Pasmo ma też cenę w energii. Przy 2,4 pJ/bit przepchnięcie 100 TB/s przez HBM kosztuje około 1,92 kW, zanim doliczy się jakikolwiek ruch w sieci.

„Po raz pierwszy widzimy, jak Nvidia, klient końcowy, zwraca się do dostawców materiałów wyżej w łańcuchu, żeby zabezpieczyć moce i upewnić się, że je dostanie”. Bilal Hachemi, Yole Group, dla Tom's Hardware

Odpowiedzią d-Matrix jest ułożenie obliczeń bezpośrednio na układach DRAM. Układ logiczny TSMC N4 leży na układzie 3D DRAM, połączony warstwowo 36 um. Pionowe 3D IO kosztuje około 0,3 do 0,4 pJ, mniej więcej 10 razy mniej niż HBM. To ścieżka w skali milimetra, a nie centymetrowa trasa przez interposer. Firma twierdzi, że stos 1-Hi z logiką na górze przy nie więcej niż 0,5 W/mm² da się chłodzić cieczą i utrzymać DRAM poniżej 100 C.

Integracja to miejsce, gdzie elegancja się kończy. Każdy silnik tensorowy potrzebuje na jeden dostęp 128 000 000 000 B. Przy 32 000 000 000 B dostarczanych na dostęp do kolumny z banków o pojemności 32 000 000 000 B wychodzą 4 banki na kanał. Układ ma 840 banków, 768 po odjęciu 72 zapasowych, rozłożonych na 256 kanałów, czyli tylko 3 banki na kanał. Blokowanie strumieni usuwa tę niezgodność, dzieląc jeden częściowy dostęp 32 000 000 000 B między trzy flity. Cztery dostępy po 96 000 000 000 B zasilają więc trzy flity po 128 000 000 000 B. Przy 32 000 000 000 B na kartę, wagach 4-bitowych i 8-bitowym KV cache d-Matrix mieści model klasy Kimi K3 przy kontekście 1 000 000 w jednym racku na 72 karty.

Pętla projektowa automatyzuje się nierówno

Obudowa i pamięć to ograniczenia fizyczne. Czas projektowania jest ograniczeniem ekonomicznym. Tim Costa z Nvidii jest wiceprezesem i dyrektorem generalnym ds. inżynierii obliczeniowej. Powiedział dziennikarzom, że do 2030 r. branża ma produkować 2 000 000 000 000 chipów i przetwarzać około 41 000 000 wafli miesięcznie. Pojedyncze obudowy zbliżają się do 6 000 000 000 000 tranzystorów. „Tradycyjny proces projektowania po prostu nie nadąża za taką skalą wyzwania”, powiedział, według The Next Platform.

Nvidia wdraża swój procesor Vera CV100 oparty na Arm w swoich własnych procesach EDA, w tym symulacji, weryfikacji formalnej i implementacji fizycznej. Costa powiedział, że wczesne testy pokazują, iż Vera uruchamia Synopsys VCS i Cadence Jasper 1,5 razy szybciej niż systemy AMD Epyc Torrent. Cadence twierdzi, że jej AI Super Agents potrafią prowadzić setki symulacji jednocześnie i skrócić cykle walidacji RTL 40 razy. Synopsys mówi, że jego autonomiczny proces weryfikacji dostarcza zweryfikowany RTL 50 razy szybciej. To liczby dostawców. SemiEngineering zauważa, że zwrot ku wyspecjalizowanym agentom tworzy nowe problemy z orkiestracją, integracją i zabezpieczeniami. Wyniki generowane przez AI nadal wymagają weryfikacji przed zatwierdzeniem.

Jeden punkt danych z ChipStack AI Super Agent firmy Cadence, opisany przez SemiEngineering, sugeruje, że zyski nie dotyczą tylko szybkości. Firma podaje około 24% mniejszej powierzchni i 18% mniejszego poboru mocy w porównaniu z czystym generowaniem kodu przez model bazowy.

Nic z tego nie usuwa ograniczenia po stronie dostaw. Większy interposer potrzebuje więcej T-glass. Większy model potrzebuje większego pasma pamięci. Nvidia idzie bezpośrednio do Nittobo, co Hachemi nazwał bezprecedensowym w tej części łańcucha dostaw. To sygnał, gdzie leży prawdziwy niedobór. Jego obawa jest prosta: gdy Nvidia zabezpieczy swoją część, kupujący chipy rywale zostaną z walką o resztę. Nowe fabryki powstają latami. Piec do tkania tkaniny szklanej, pracujący w temperaturze od 1 600 do 1 700°C, też.