La catena di fornitura degli acceleratori AI: T-glass, DRAM 3D e il collo di bottiglia del packaging

Tom's Hardware ha riferito il 9 marzo che la domanda di T-glass ha superato l'offerta, spingendo i prezzi su del 20-30%. I tempi di consegna dei materiali a valle, come i laminati rivestiti di rame, sono passati dalle solite 8-10 settimane a oltre 20. Nittobo sta triplicando la capacità nel suo stabilimento di Fukushima. Il materiale aggiuntivo non arriverà sul mercato prima della metà del 2027.

Il T-glass non è un chip. È un tessuto di vetro a basso CTE usato nel nucleo organico dei substrati IC, lo strato di interconnessione tra un processore e la sua scheda a circuito stampato. Serve a mantenere stabile la forma dei package grandi e caldi. Man mano che i processori AI diventano più grandi e lavorano più caldi, questo compito diventa più difficile.

L'E-glass fa un lavoro simile a un costo inferiore. Si usa soprattutto nei chip di fascia bassa, come i microcontroller e i processori mobile più vecchi. Per il packaging 2.5D e 3D, e quindi per gli acceleratori AI avanzati, il T-glass è l'opzione preferita. Secondo Tom's Hardware, i dati di Nvidia mostrano interposer che crescono da 814 mm² su Hopper a 1.700 mm² su Blackwell, un aumento del 109%. Le generazioni Rubin e Feynman salgono ancora.

Perché sostituirlo è difficile

Bilal Hachemi, analista di Yole Group che segue la catena di fornitura dei substrati IC, ha detto a Tom's Hardware Premium che rimpiazzare il T-glass non è semplice. Secondo lui il materiale "ha valori specifici di dielettrico e CTE che funzionano meglio per i chip AI, soprattutto per il nucleo organico". Hachemi ha anche osservato che l'industria dei substrati IC ha sempre lavorato con margini sottili. Anche aumenti di domanda contenuti possono quindi innescare carenze. "Qualsiasi aumento della domanda di materiali build-up, di materiale ABF o di T-glass può causare una potenziale carenza, perché va contro le basi di questo settore", ha detto.

Bill Ho, analista di Yuanta, ha descritto lo stato del mercato senza giri di parole: "Con l'offerta di T-glass ancora più limitata, i fornitori non comunicano più i tempi di consegna".

La corsa alle allocazioni ha già cambiato i comportamenti. Hachemi ha detto che Nvidia che contatta direttamente un fornitore di materiali a monte è un fatto senza precedenti: "Per la prima volta vediamo Nvidia, il cliente finale, rivolgersi ai fornitori di materiali a monte per assicurarsi la capacità e fare in modo di ottenerla". Per i rivali che comprano chip il problema è cosa succede dopo che Nvidia si è bloccata la sua quota.

Nittobo non sta ferma. Oltre all'espansione di Fukushima, raddoppia la capacità di filato grezzo nello stabilimento di Taiwan e importa filato in Giappone per la tessitura. Ha anche stretto un accordo di collaborazione con Nanya Plastics per esternalizzare parte della tessitura. Così si allea con uno dei suoi maggiori concorrenti per alleggerire il collo di bottiglia. Entro il 2027 circa il 20% del tessuto di vetro di Nittobo dovrebbe essere tessuto da Nanya, secondo Tom's Hardware.

Bank of America stima che il segmento materiali elettronici di Nittobo quasi raddoppierà le vendite, da 40.900.000.000 di yen (266.000.000 di dollari) nel 2025 a 87.700.000.000 di yen entro marzo 2028, con margini operativi vicini al 48%. Takashi Enomoto, analista di ricerca della banca, ha detto che la domanda di tessuto T-glass "sembra destinata a crescere più del previsto". Ha aggiunto che l'attenzione era finora sul T-glass spesso per i package di GPU e CPU. Ora la domanda di T-glass ultra-sottile è probabilmente destinata a salire, perché i dispositivi di punta si allontanano dall'E-glass.

Il lato memoria dello stesso problema

Il materiale di packaging è solo uno dei vincoli. A Hot Chips 2026 d-Matrix ha presentato Raptor, un acceleratore che impila il compute direttamente sopra i die DRAM, secondo il resoconto di ServeTheHome pubblicato il 14 settembre. Il ragionamento parte dall'aritmetica. I pesi dei modelli continuano a crescere e la KV cache scala con la lunghezza del contesto moltiplicata per la dimensione del batch. Quindi 64 utenti con contesto da 1.000.000 possono significare circa 935 GB di KV cache.

La SRAM centra l'obiettivo di banda solo su scala minuscola. ServeTheHome riferisce che un paio di schede acceleratore SRAM Corsair arriva a circa 300 TB/s con una latenza di circa 1 ns, ma contiene solo circa 4 GB. Una cella SRAM 6T è circa 10 volte più grande di una cella DRAM, e la dispersione arriva a decine di watt su scala GB. L'HBM risolve la capacità ma fatica sulla banda. d-Matrix cita un tetto pratico intorno ai 20 TB/s per package HBM4 come Vera Rubin di Nvidia e Instinct MI455 di AMD.

Una banda di quel livello ha un costo energetico. A 2,4 pJ/bit, spingere 100 TB/s attraverso l'HBM consuma circa 1,92 kW prima di qualsiasi traffico di fabric. L'alternativa di d-Matrix mette un die logico TSMC N4 sopra un die DRAM 3D con impilamento face-to-face da 36 µm. L'IO verticale 3D scende a circa 0,3-0,4 pJ, all'incirca 10 volte meno dell'HBM.

Il nodo è il calore. Centinaia di watt devono uscire attraverso i TSV in una pila DRAM sensibile alla temperatura. d-Matrix dice che una pila 1-Hi con logica sopra, a non più di 0,5 W/mm², può essere raffreddata a liquido e tenere la DRAM sotto i 100 C. Con 32 GB per scheda, pesi a 4 bit e una KV cache a 8 bit, uno scale-up da 72 schede può ospitare un modello di frontiera come Kimi K3 con contesto da 1.000.000, secondo la presentazione dell'azienda a Hot Chips.

Microsoft ha usato la stessa conferenza per dettagliare Maia 200, il suo acceleratore di seconda generazione per Azure. ServeTheHome ha riferito il 26 agosto che il chip è costruito su TSMC 3nm con 140.000.000.000 di transistor, sei pile di HBM3e, 7 TB/s di banda HBM, un TDP di 750 Watt e 10.000 TFLOPS di prestazioni FP4. Il die SoC misura 820 mm². Il networking di Microsoft è solo scale-up, con 128 rack e 6.000 chip nella slide mostrata. Usa switch di tier 0 dentro i rack e switch di tier 1 tra i rack.

La pista parallela della Cina

La rassegna settimanale di SemiEngineering, pubblicata il 25 settembre, elenca diverse mosse che vanno nella stessa direzione: più fornitura interna e più capacità di packaging. Alibaba ha svelato l'acceleratore AI Zhenwu V900 con 216 GB di memoria e 1.200 GB/s di banda tra chip. Dichiara prestazioni 3 volte superiori al predecessore M890, con produzione di massa prevista per il primo trimestre del 2027. CXMT ha detto che la sua DRAM G5 di quinta generazione è entrata in produzione di massa insieme a una nuova linea LPDDR5X. Dichiara un half-pitch dell'area attiva di 11,95 nm e almeno il 50% di die in più per wafer rispetto alla generazione precedente, ma non ha rivelato i rendimenti reali di produzione.

La stessa rassegna nota che Samsung avrebbe in programma di almeno raddoppiare la produzione della famiglia HBM4 nel 2027, secondo Seoul Economic Daily. Nota anche che GUC ha detto che il suo PHY e controller HBM4E sono pronti per il design su TSMC N2P e sono già stati adottati in ASIC AI di clienti. I ricercatori di Imec hanno modellato un'architettura DRAM 3D su GPU con die DRAM orientati verticalmente e cavità di raffreddamento. Ha ridotto la temperatura di picco da 121,7°C a 103,4°C rispetto a una baseline HBM su GPU.

Niente di tutto questo risolve la tempistica del T-glass. Nuovi forni di fusione che lavorano tra 1.600 e 1.700°C, linee di filatura e tessitura richiedono anni per essere avviati. Il lavoro di Tom's Hardware colloca il primo nuovo volume significativo a metà del 2027. Fino ad allora il vincolo resta a monte delle fab, in un materiale che quasi nessun gestore di data center vedrà mai.