Cosa c'è davvero dentro un acceleratore AI: T-glass, HBM e il collo di bottiglia del decode

Secondo Tom's Hardware, Nittobo controlla circa il 90% del mercato mondiale del T-glass. Questo tessuto di vetro a basso CTE sta nel core organico dei substrati IC. L'azienda sta triplicando la capacità nello stabilimento di Fukushima. La nuova produzione non arriverà sul mercato prima della metà del 2027.

Quel vuoto si vede già nei prezzi e nelle consegne. I prezzi del T-glass sono saliti tra il 20% e il 30%. I tempi di consegna dei materiali a valle, come i laminati rivestiti di rame, sono passati dalle normali 8-10 settimane a oltre 20. "Con l'offerta di T-glass ancora più limitata, i fornitori non comunicano più i tempi di consegna", ha detto a Tom's Hardware Bill Ho, analista di Yuanta. La stretta compare prima nei preventivi che i commerciali non riescono a tenere fermi più di qualche giorno. Poi arriva nelle tempistiche su cui i progettisti fabless costruiscono le finestre di lancio. Nessuno nella filiera dice pubblicamente quanto durerà la scarsità. Nessuno vuole essere quello che ha sbagliato la previsione.

Perché il substrato conta più del numero di transistor

Un acceleratore AI non è un solo chip. È un package: die logici, stack di memoria, un interposer e un substrato che collega tutto a una scheda a circuito stampato. Il core organico del substrato deve restare piatto mentre il package si scalda e si raffredda. Un package deformato rompe le connessioni microscopiche tra i die. Il T-glass lo tiene stabile dal punto di vista dimensionale, e i suoi valori dielettrici e di dilatazione termica sono tarati proprio per questo compito.

Bilal Hachemi segue la filiera dei substrati IC per Yole Group. Ha detto a Tom's Hardware Premium che sostituire il T-glass non è semplice. Il T-glass "ha valori dielettrici e di CTE specifici che funzionano meglio per i chip AI, soprattutto per il core organico", ha spiegato. Ha anche indicato una struttura industriale che trasforma piccoli shock della domanda in carenze. Il business dei substrati IC ha sempre lavorato con margini sottili. Quindi "qualsiasi aumento della domanda di materiali build-up, di materiale ABF o di T-glass può causare una potenziale carenza, perché va contro le basi di questo settore". Quella struttura è precedente al boom dell'AI. È stata costruita per un mercato in cui la domanda di substrati cresceva lentamente e in modo prevedibile. Non è stata ricostruita per un mercato in cui un solo ciclo di prodotto può raddoppiare gli ordini in un anno.

Il lato della domanda non è sottile. Ogni generazione di acceleratore AI usa un interposer più grande e un substrato più complesso. Questo significa più materiale per unità. Secondo i dati di Nvidia citati da Tom's Hardware, le dimensioni dell'interposer sono cresciute da 814mm² per Hopper a 1.700mm² per Blackwell, un aumento del 109%. Le generazioni Rubin e Feynman in arrivo salgono ancora.

Bank of America stima che il segmento materiali elettronici di Nittobo vedrà le vendite quasi raddoppiare da 40.900.000.000 di yen (266.000.000 di dollari) nel 2025 a 87.700.000.000 di yen entro marzo 2028. I margini operativi si avvicinano al 48%. "La domanda di tessuto in T-glass sembra destinata a crescere più del previsto", ha detto Takashi Enomoto, analista di ricerca di Bank of America. Ha aggiunto che l'attenzione era sul T-glass spesso per i package di GPU e CPU. La domanda di T-glass ultra-sottile è probabile che salga man mano che i dispositivi di punta abbandonano l'E-glass.

Nittobo non aspetta. Oltre a Fukushima, sta raddoppiando la capacità di filato grezzo nello stabilimento di Taiwan e spedisce il filato in Giappone per la tessitura. Ha anche un accordo di collaborazione con Nanya Plastics per esternalizzare parte della tessitura. Tom's Hardware nota il simbolismo: Nittobo si allea con uno dei suoi maggiori concorrenti. Entro il 2027, circa il 20% del tessuto di vetro di Nittobo dovrebbe essere tessuto da Nanya.

La memoria è l'altra metà del collo di bottiglia

Se il substrato decide se un package si può costruire, la memoria decide quanto in fretta può rispondere. d-Matrix ha usato la sua presentazione a Hot Chips 2026 sull'acceleratore Raptor, ripresa da ServeTheHome, per esporre l'aritmetica. I pesi dei modelli continuano a crescere. La KV cache scala con la lunghezza del contesto moltiplicata per la dimensione del batch. Quindi 64 utenti a 1.000.000 di contesto possono significare circa 935 GB di KV cache.

La divisione tra calcolo e memoria emerge nelle due fasi dell'inferenza. Il prefill elabora molti token del prompt in parallelo ed è limitato dalla capacità di calcolo. Il decode produce un token alla volta ed è di norma limitato dalla banda di memoria. Il decode domina il tempo di esecuzione reale, quindi è sulla banda che si vince. La SRAM raggiunge l'obiettivo di banda ma solo su scala minuscola. Una coppia di schede acceleratore SRAM Corsair arriva a circa 300 TB/s con una latenza di circa 1 ns e contiene solo circa 4 GB. Una cella SRAM 6T è circa 10 volte più grande di una cella DRAM.

L'HBM risolve la capacità ma non la banda. d-Matrix cita un tetto pratico intorno ai 20 TB/s per i package HBM4 come Nvidia Vera Rubin e AMD Instinct MI455. Lo limitano la velocità dei pin, l'ampiezza dell'I/O e il beachfront del package, con circa 8-16 stack. La banda ha anche un prezzo energetico. A 2,4 pJ/bit, spingere 100 TB/s attraverso l'HBM costa circa 1,92 kW prima di contare qualsiasi traffico di fabric.

"Per la prima volta vediamo Nvidia, il cliente finale, contattare direttamente i fornitori di materiali a monte per assicurarsi la capacità e garantirsi di ottenerla." Bilal Hachemi, Yole Group, a Tom's Hardware

La risposta di d-Matrix è impilare il calcolo direttamente sui die DRAM. Un die logico TSMC N4 poggia su un die DRAM 3D con uno stacking face-to-face da 36 um. L'IO 3D verticale arriva a circa 0,3-0,4 pJ, circa 10 volte meno dell'HBM. È un percorso su scala millimetrica, non una rotta su interposer centimetrico. L'azienda dice che uno stack 1-Hi con la logica sopra, a non più di 0,5 W/mm², può essere raffreddato a liquido e mantenere la DRAM sotto i 100 C.

L'integrazione è il punto in cui l'eleganza finisce. Ogni tensor engine ha bisogno di un flit da 128.000.000.000 di bit per accesso. Con 32.000.000.000 di byte consegnati per accesso di colonna da banchi da 32.000.000.000 di byte, si arriva a 4 banchi per canale. Il die ha 840 banchi, 768 dopo 72 di riserva, distribuiti su 256 canali, cioè solo 3 banchi per canale. Lo stream blocking corregge il disallineamento condividendo un accesso parziale da 32.000.000.000 di byte tra tre flit. Quindi 4 accessi a 96.000.000.000 di byte alimentano 3 flit a 128.000.000.000 di byte. A 32.000.000.000 di byte per scheda con pesi a 4 bit e una KV cache a 8 bit, d-Matrix dimensiona un modello di frontiera come Kimi K3 a 1.000.000 di contesto in un singolo rack da 72 schede.

Il ciclo di progettazione viene automatizzato, in modo disomogeneo

Packaging e memoria sono vincoli fisici. Il tempo di progettazione è un vincolo economico. Tim Costa di Nvidia è vicepresidente e general manager della computational engineering. Ha detto ai giornalisti che entro il 2030 il settore dovrebbe produrre 2.000.000.000.000 di chip e lavorare circa 41.000.000 di wafer al mese. I singoli package si avvicinano a 6.000.000.000.000 di transistor. "Il processo di progettazione tradizionale non riesce a stare al passo con una sfida di questa scala", ha detto, secondo The Next Platform.

Nvidia sta distribuendo la sua CPU Vera CV100 basata su Arm nei propri flussi EDA, inclusi simulazione, verifica formale e implementazione fisica. Costa ha detto che i test iniziali mostrano Vera eseguire Synopsys VCS e Cadence Jasper a 1,5 volte le prestazioni dei sistemi AMD Epyc Torrent. Cadence sostiene che i suoi AI Super Agents possono eseguire centinaia di simulazioni in contemporanea e consegnare cicli di validazione register-transfer-level 40 volte più veloci. Synopsys dice che il suo flusso di verifica autonomo può consegnare RTL validato 50 volte più velocemente. Sono numeri dei fornitori. SemiEngineering nota che la svolta verso agenti specializzati sta creando nuovi problemi di orchestrazione, integrazione e guardrail. I risultati generati dall'AI richiedono comunque una verifica prima della firma finale.

Un dato dal ChipStack AI Super Agent di Cadence, riportato da SemiEngineering, suggerisce che i guadagni non riguardano solo la velocità. L'azienda riporta circa il 24% in meno di area e il 18% in meno di potenza rispetto alla pura generazione di codice da modello di base.

Niente di tutto questo elimina il vincolo a monte. Un interposer più grande richiede più T-glass. Un modello più grande richiede più banda di memoria. Nvidia si sta rivolgendo direttamente a Nittobo, cosa che Hachemi ha definito senza precedenti in quella parte della filiera. È un segnale di dove si trova la vera scarsità. La preoccupazione che nomina è semplice: una volta che Nvidia si assicura la sua quota, gli altri acquirenti di chip restano a contendersi quel che rimane. Le nuove fab richiedono anni. Anche un nuovo forno per tessuto di vetro che lavora tra 1.600 e 1.700°C.