Perché costruire acceleratori AI è sempre più difficile: T-glass, HBM e impilamento 3D

La maggior parte degli articoli sull'hardware per l'AI comincia e finisce con Nvidia e TSMC. Il 9 marzo Tom's Hardware ha riferito che il collo di bottiglia si è spostato di un livello più in basso, verso un materiale che quasi nessuno conosce. Il T-glass è un tessuto di vetro a basso CTE usato nel core organico dei substrati per circuiti integrati. È lo strato di interconnessione tra un chip e la sua scheda a circuito stampato.

Che cosa fa davvero il T-glass

Il T-glass mantiene stabili nelle dimensioni i package grandi e ad alta dissipazione termica. I processori per l'AI diventano sempre più grandi e lavorano a temperature sempre più alte. Tenerli piatti è ormai un problema produttivo, non teorico. Un'altra fibra di vetro, l'E-glass, costa meno, ma finisce soprattutto nei chip di fascia bassa come i microcontroller e i vecchi processori per telefoni. Per i package 2.5D e 3D di grandi dimensioni il T-glass è l'opzione preferita.

Nittobo domina quel mercato. Né lei né altre aziende possono avviare una nuova linea di produzione dall'oggi al domani. Il materiale richiede forni elettrici di fusione dedicati che lavorano a 1.600-1.700°C. Il processo prevede la fusione di vetro ricco di silice, la filatura in filato e la tessitura in un tessuto ultratino. Portare tutto questo su scala richiede anni di investimenti e competenze.

Nittobo sta triplicando la capacità nel suo stabilimento di Fukushima, in Giappone, ma la nuova offerta non arriverà sul mercato prima di metà 2027. Nel frattempo i prezzi sono saliti tra il 20 e il 30%. I tempi di consegna per i materiali a valle come i laminati rivestiti di rame sono passati dalle normali 8-10 settimane a oltre 20. Bill Ho, analista di Yuanta, ha detto a Tom's Hardware: "Con l'offerta di T-glass ancora più limitata, i fornitori non comunicano più i tempi di consegna."

Bilal Hachemi, analista di Yole Group che segue la catena di fornitura dei substrati per circuiti integrati, ha detto che il T-glass "ha valori specifici di dielettrico e CTE che funzionano meglio per i chip AI, soprattutto per il core organico". Ha anche fatto notare che il settore dei substrati per circuiti integrati ha sempre lavorato con margini sottili. Anche aumenti modesti della domanda possono quindi innescare carenze. "Qualsiasi aumento della domanda di materiali build-up, di materiale ABF o di T-glass può causare una potenziale carenza, perché va contro le basi di questo settore", ha detto.

A rendere acuta questa stretta è chi la sta guidando. Gli hyperscaler ordinano package sempre più grandi, e ogni generazione usa un interposer più grande e un substrato più complesso. Secondo dati di Nvidia citati da Tom's Hardware, le dimensioni dell'interposer sono passate da 814mm² per l'architettura Hopper a 1.700mm² per Blackwell, un aumento del 109%. Le prossime generazioni Rubin e Feynman salgono ancora.

Package più grandi, più materiale

Bank of America stima che il segmento materiali elettronici di Nittobo vedrà le vendite quasi raddoppiare, da 40.900.000.000 di yen (266.000.000 di dollari) nel 2025 a 87.700.000.000 di yen entro marzo 2028. I margini operativi si avvicinano al 48%. Takashi Enomoto, analista di ricerca di Bank of America, ha detto che ora cresce anche la domanda di T-glass ultratino, per il passaggio dall'E-glass nei dispositivi di punta.

La corsa all'allocazione è già iniziata. Hachemi ha definito senza precedenti il fatto che Nvidia si sia rivolta direttamente a un fornitore di materiali a monte: "Per la prima volta vediamo Nvidia, il cliente finale, contattare i fornitori di materiali a monte per assicurarsi la capacità e garantirsi di ottenerla". Il timore è che, una volta che Nvidia si sarà bloccata la sua quota, gli acquirenti di chip rivali resteranno a contendersi il resto.

Nittobo non sta a guardare. Oltre all'ampliamento di Fukushima, raddoppia la capacità di filato grezzo nello stabilimento di Taiwan e importa filato in Giappone per la produzione del tessuto. Ha anche chiuso un accordo di collaborazione con Nanya Plastics per esternalizzare parte della tessitura. È un segno di quanto sia teso il mercato: Nittobo si allea con uno dei suoi maggiori concorrenti per alleviare il collo di bottiglia. Entro il 2027, circa il 20% del tessuto di vetro di Nittobo dovrebbe essere tessuto da Nanya.

Il muro della memoria, e la risposta dell'impilamento

Il materiale di packaging è un vincolo. La larghezza di banda della memoria è l'altro, ed è oggetto di un dibattito separato che attraversa le conferenze sui chip di quest'anno. L'articolo di ServeTheHome sulla presentazione di d-Matrix a Hot Chips 2026 espone il problema. I pesi dei modelli continuano a crescere, e la KV cache scala con la lunghezza del contesto moltiplicata per la dimensione del batch. Sessantaquattro utenti a 1.000.000 di contesto possono significare circa 935 GB di KV cache.

La SRAM raggiunge l'obiettivo di banda ma solo su scala minuscola. Una coppia di schede acceleratore SRAM Corsair arriva a circa 300 TB/s con una latenza di circa 1 ns, ma contiene solo circa 4 GB. L'HBM risolve la metà della capacità ma fatica sulla banda. d-Matrix cita un tetto pratico intorno ai 20 TB/s per i package HBM4. Una banda così alta ha un prezzo in termini di potenza: a 2,4 pJ/bit, spingere 100 TB/s attraverso l'HBM consuma circa 1,92 kW prima ancora di contare il traffico di fabric.

La risposta di d-Matrix è impilare il calcolo direttamente sopra i die DRAM. Un die logico TSMC N4 poggia su un die DRAM 3D con impilamento face-to-face da 36 um. L'azienda descrive il processo come collaudato, a basso costo, ad alto volume e ad alto rendimento. La sfida termica è reale. d-Matrix dice che uno stack 1-Hi con la logica sopra, a non più di 0,5 W/mm², può essere raffreddato a liquido e mantenere la DRAM sotto i 100 C. L'IO verticale 3D si aggira intorno a 0,3-0,4 pJ, circa 10 volte meno dell'HBM.

Ci sono compromessi ingegneristici. Ogni tensor engine ha bisogno di un flit da 128B per accesso, e con 3 banchi per canale un singolo accesso restituisce 96B. Così si spreca circa il 33% della banda. La soluzione di d-Matrix, chiamata stream blocking, condivide un accesso parziale da 32B tra tre flit, così l'overfetch scende a zero. Con 32.000.000.000 di byte per scheda, un scale-up da 72 schede può ospitare un modello di frontiera come Kimi K3 a 1.000.000 di contesto.

Microsoft e Rebellions mostrano la stessa tendenza

Il Maia 200 di Microsoft, presentato a Hot Chips 2026 e seguito in diretta da ServeTheHome, è un chip da 3nm con 140.000.000.000 di transistor, 6 stack HBM3e, 7TB/secondo di banda HBM, 750 Watt di TDP e 10.000 TFLOPS di prestazioni FP4. Il die SoC è di 820mm². Microsoft lo sta installando nei data center Azure con un design di rete solo scale-up: 128 rack e 6.000 chip, collegati da switch di livello 0 e livello 1 su Ethernet unificato. I benchmark sull'attenzione mostrano un picco effettivo di 1,65 PFLOPS. Il benchmarking collettivo arriva a quasi 1,3TB/secondo in BF16 AllReduce.

A Hot Chips 2025, Rebellions ha mostrato un approccio diverso allo stesso problema di packaging. Il REBEL-Quad usa quattro siti HBM3E per 144GB di memoria e UCIe come interconnessione tra chiplet. È costruito su Samsung SF4X e CoWoS-S con quattro ASIC di calcolo e quattro condensatori al silicio integrati per package. ServeTheHome ha notato che è una scheda dual PCIe Gen5 x16. L'azienda ha eseguito una demo dal vivo di Llama 3.3 70.000.000.000 con una media di 35,5 msec per token di output su una scheda di sviluppo.

Anche il mondo accademico si muove. Stanford, Carnegie Mellon, Penn, MIT e SkyWater Technology hanno presentato il primo chip 3D monolitico costruito in una fonderia statunitense. Lo hanno presentato alla 71ª IEEE International Electron Devices Meeting nel dicembre 2025. I primi test sull'hardware mostrano che il prototipo supera i chip 2D comparabili di circa quattro volte. Le simulazioni di versioni più alte indicano un miglioramento fino a dodici volte su carichi di lavoro AI, compresi quelli derivati da LLaMA di Meta. Subhasish Mitra, il professore di Stanford che ha guidato il lavoro, ha detto che svolte come questa sono il modo in cui il settore arriverà ai miglioramenti di prestazioni hardware di 1.000 volte che i futuri sistemi AI richiederanno.

Niente di tutto questo arriva nei tempi che la carenza attuale impone. Il vincolo del T-glass è un problema che durerà anni. La ricerca su impilamento e packaging che potrebbe alleviare la pressione più avanti è ancora in gran parte su slide di presentazione e schede di sviluppo.