Dlaczego akceleratory AI coraz trudniej zbudować: T-glass, HBM i stackowanie 3D

Większość tekstów o sprzęcie do AI zaczyna się i kończy na Nvidii oraz TSMC. Tom's Hardware doniósł 9 marca, że wąskie gardło przesunęło się o warstwę niżej, do materiału, o którym mało kto słyszał: T-glass to tkanina szklana o niskim CTE, używana w organicznym rdzeniu podłoży IC, czyli w warstwie łączącej układ z płytką drukowaną.

Co właściwie robi T-glass

T-glass utrzymuje wymiary dużych, mocno grzejących się obudów układów. Gdy procesory AI rosną i pracują w wyższych temperaturach, utrzymanie ich płaskości staje się problemem produkcyjnym, nie teoretycznym. Inne włókno szklane, E-glass, jest tańsze, ale trafia głównie do prostszych układów, takich jak mikrokontrolery i starsze procesory mobilne. W dużym pakowaniu 2.5D i 3D wybiera się T-glass.

Nittobo dominuje na tym rynku. Ani ona, ani żadna inna firma nie uruchomi nowej linii produkcyjnej z dnia na dzień: materiał wymaga specjalistycznych elektrycznych pieców topiących pracujących w temperaturze od 1 600 do 1 700°C, a proces obejmuje topienie szkła bogatego w krzemionkę, przędzenie go w przędzę i tkanie w bardzo cienką tkaninę. Skalowanie tego wymaga lat inwestycji i wiedzy.

Nittobo potraja moce w zakładzie w Fukushimie w Japonii, ale nowe dostawy trafią na rynek dopiero w połowie 2027. Do tego czasu ceny wzrosły o 20 do 30%, a terminy realizacji materiałów w dalszej części łańcucha, takich jak laminaty miedziane, wydłużyły się z normalnych 8 do 10 tygodni do ponad 20. Bill Ho, analityk z Yuanta, powiedział Tom's Hardware: "With T-glass supply even more constrained now, suppliers are no longer providing lead times."

Bilal Hachemi, analityk z Yole Group, który śledzi łańcuch dostaw podłoży IC, powiedział, że T-glass "has specific dielectric and CTE values that work better for the AI chips, especially for the organic core." Zwrócił też uwagę, że branża podłoży IC od dawna działa na cienkich marżach, więc nawet umiarkowany skok popytu może wywołać niedobór. "Any increase in demand for build-up materials, ABF material, or T-glass can cause potential shortage, because it's against the basics of this industry," powiedział.

Ostry charakter tego niedoboru wynika z tego, kto go napędza. Hiperskalerzy zamawiają coraz większe obudowy układów, a każde pokolenie zużywa większy interposer i bardziej złożony substrat. Według danych Nvidii, na które powołuje się Tom's Hardware, powierzchnia interposera wzrosła z 814mm² w architekturze Hopper do 1 700mm² w Blackwell, czyli o 109%, a nadchodzące generacje Rubin i Feynman mają rosnąć dalej.

Większe obudowy, więcej materiału

Bank of America szacuje, że sprzedaż segmentu materiałów elektronicznych Nittobo niemal się podwoi, z 40,9 mld jenów (266 mln dolarów) w 2025 do 87,7 mld jenów do marca 2028, a marże operacyjne zbliżą się do 48%. Takashi Enomoto, analityk badawczy Bank of America, powiedział, że popyt na ultracienki T-glass też rośnie, bo w wiodących urządzeniach odchodzi się od E-glass.

Wyścig o przydziały już się zaczął. Hachemi opisał bezpośredni kontakt Nvidii z dostawcą materiału na wcześniejszym etapie jako bezprecedensowy: "For the first time, we are seeing Nvidia, the end customer, reaching out to the upstream material suppliers to secure the capacity and make sure they will get it." Obawa polega na tym, że gdy Nvidia zablokuje swoją część, konkurencyjni odbiorcy układów zostaną z resztą.

Nittobo nie czeka bezczynnie. Poza rozbudową w Fukushimie podwaja moce produkcyjne surowej przędzy w zakładzie na Tajwanie i importuje przędzę z powrotem do Japonii, gdzie powstaje tkanina. Firma zawarła też umowę o współpracy z Nanya Plastics, która przejmie część tkania. To znak, jak ciasny jest rynek: Nittobo łączy siły z jednym z największych konkurentów, żeby złagodzić wąskie gardło. Do 2027 roku około 20% tkaniny szklanej Nittobo ma tkać Nanya.

Ściana pamięci i odpowiedź w postaci stackowania

Materiał do pakowania to jedno ograniczenie. Przepustowość pamięci to drugie i osobny wątek przewijający się przez tegoroczne konferencje o układach. Tekst ServeTheHome o prezentacji d-Matrix na Hot Chips 2026 opisuje problem: wagi modeli stale rosną, a KV cache skaluje się wraz z długością kontekstu pomnożoną przez rozmiar batcha. Sześćdziesiąt cztery osoby przy kontekście 1 000 000 tokenów mogą oznaczać około 935 GB KV cache.

SRAM osiąga wymaganą przepustowość, ale tylko w bardzo małej skali. Para kart akceleratorów SRAM Corsair dochodzi do około 300 TB/s przy opóźnieniu około 1 ns, ale mieści tylko około 4 GB. HBM rozwiązuje połowę problemu, czyli pojemność, ale ma kłopot z przepustowością: d-Matrix podaje praktyczny sufit około 20 TB/s dla pakietów HBM4. Tak wysoka przepustowość ma cenę w mocy: przy 2,4 pJ/bit przepchnięcie 100 TB/s przez HBM zjada około 1,92 kW, zanim dojdzie jakikolwiek ruch sieciowy.

Odpowiedzią d-Matrix jest umieszczenie obliczeń bezpośrednio na matrycach DRAM. Układ logiczny TSMC N4 leży na matrycy 3D DRAM, połączony w stackowaniu twarzą do twarzy o wymiarze 36 um. Firma opisuje ten proces jako sprawdzony, tani, dojrzały produkcyjnie i o wysokiej wydajności. Wyzwanie termiczne jest realne: według d-Matrix stack 1-Hi z logiką na górze o gęstości mocy nie większej niż 0,5 W/mm² można chłodzić cieczą i utrzymać DRAM poniżej 100 C. Pionowe 3D IO kosztuje około 0,3 do 0,4 pJ, czyli około 10 razy mniej niż HBM.

Są kompromisy inżynieryjne. Każdy silnik tensorowy potrzebuje przy dostępie flitu 128B, a przy 3 bankach na kanał pojedynczy dostęp zwraca 96B, co marnuje około 33% przepustowości. Poprawka d-Matrix, zwana stream blocking, dzieli jeden częściowy dostęp 32B między trzy flity, dzięki czemu nadmiarowe pobieranie spada do zera. Przy 32 000 000 000 bajtów na kartę, czyli 32 GB, skalowanie do 72 kart pozwala hostować model frontier, taki jak Kimi K3, przy kontekście 1 000 000 tokenów.

Microsoft i Rebellions pokazują ten sam trend

Microsoft Maia 200, zaprezentowany na Hot Chips 2026 i relacjonowany na żywo przez ServeTheHome, to układ w procesie 3nm ze 140 000 000 000 tranzystorów, 6 stackami HBM3e, przepustowością HBM 7TB/second, TDP 750 watów i wydajnością 10 000 TFLOPS w FP4. Matryca SoC ma 820mm². Microsoft wdraża go w centrach danych Azure z siecią wyłącznie do skalowania w górę: 128 szaf i 6 000 układów, połączonych przełącznikami tier-0 i tier-1 przez ujednolicony Ethernet. Benchmarki attention pokazują efektywny szczyt 1,65 PFLOPS, a testy kolektywne osiągają prawie 1,3TB/second w BF16 AllReduce.

Na Hot Chips 2025 Rebellions pokazał inne podejście do tego samego problemu pakowania. REBEL-Quad wykorzystuje cztery miejsca HBM3E na 144GB pamięci i UCIe jako połączenie między chipletami, zbudowany na Samsung SF4X i CoWoS-S, z czterema układami ASIC obliczeniowymi i czterema zintegrowanymi kondensatorami krzemowymi na pakiet. ServeTheHome zauważył, że to karta dual PCIe Gen5 x16, a firma przeprowadziła na żywo demonstrację Llama 3.3 70 000 000 000 na płytce deweloperskiej, ze średnim czasem 35,5 msec na token wyjściowy.

Środowisko akademickie też rusza naprzód. Stanford, Carnegie Mellon, Penn, MIT i SkyWater Technology poinformowały o pierwszym monolitycznym układzie 3D zbudowanym w amerykańskiej foundry, zaprezentowanym na 71. IEEE International Electron Devices Meeting w grudniu 2025. Wczesne testy sprzętu pokazują, że prototyp jest około czterokrotnie lepszy od porównywalnych układów 2D, a symulacje wyższych wersji wskazują na poprawę nawet dwunastokrotną w obciążeniach AI, w tym tych wywodzących się z LLaMA firmy Meta. Subhasish Mitra, profesor Stanforda, który kierował pracami, powiedział, że takie przełomy są sposobem, w jaki branża dojdzie do 1 000-krotnej poprawy wydajności sprzętu, której będą wymagać przyszłe systemy AI.

Nic z tego nie nadchodzi w tempie, jakiego wymaga obecny niedobór. Ograniczenie T-glass to problem na lata, a badania nad stackowaniem i pakowaniem, które mogłyby później zmniejszyć presję, wciąż w dużej mierze istnieją na slajdach prezentacji i płytkach deweloperskich.