Vai al contenuto
Ora nel mondoEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portale su IA e tecnologiaeventi · analisi · interviste · approfondimenti tecnici

Cerca
LIVE
›

Il muro della memoria negli acceleratori AI: d-Matrix, Microsoft e la spinta verso la 3D DRAM

Gli acceleratori AI stanno sbattendo contro un problema di memoria che i progettisti risolvono sempre più spesso impilando i chip in verticale. d-Matrix ha usato Hot Chips 2026 per sostenere che il suo progetto Raptor, che mette un die logico TSMC N4 sopra un die di 3D DRAM, può superare il tetto di banda che secondo l'azienda i pacchetti HBM raggiungono intorno ai 20 TB/s.

TecnologiaSpiegatoChiara RomanoPubblicato: 27 settembre 20265 min di letturaFonti 2
Il muro della memoria negli acceleratori AI: d-Matrix, Microsoft e la spinta verso la 3D DRAM

I pesi dei modelli continuano a crescere, e la KV cache scala con la lunghezza del contesto moltiplicata per la dimensione del batch. ServeTheHome, riportando la presentazione di d-Matrix a Hot Chips 2026 del 14 settembre, fa i conti: 64 utenti con un contesto da 1.000.000 possono significare circa 935 GB di KV cache. Pesi e cache insieme formano un problema che riguarda sia la capacità sia la banda, e entrambi i fronti continuano a crescere.

La SRAM centra l'obiettivo di banda, ma solo su scala minuscola. Una coppia di schede acceleratore Corsair SRAM arriva a circa 300 TB/s con una latenza di circa 1 ns, ma contiene solo circa 4 GB. Una cella SRAM 6T è circa 10 volte più grande di una cella DRAM, e la dispersione arriva a decine di watt su scala GB. Questo rende la SRAM adatta a un modello draft nel decoding speculativo, non a tenere i pesi di un modello di frontiera.

L'HBM risolve la capacità, non la banda

L'HBM risolve la metà della capacità ma fatica sulla banda. La velocità dei pin e l'ampiezza I/O per base die migliorano lentamente, e il numero di stack è limitato dal beachfront disponibile nel pacchetto, all'incirca da 8 a 16 stack per pacchetto. d-Matrix cita un tetto pratico di banda intorno ai 20 TB/s per i pacchetti HBM4 come NVIDIA Vera Rubin e AMD Instinct MI455.

Una banda così alta ha un prezzo in potenza. A 2,4 pJ/bit, spingere 100 TB/s attraverso l'HBM consuma circa 1,92 kW prima di contare qualsiasi traffico di fabric. Secondo l'articolo di ServeTheHome, i pacchetti di oggi non hanno né il beachfront né il budget di potenza per raggiungere con l'HBM una banda paragonabile a quella della SRAM.

La risposta di d-Matrix è impilare il calcolo direttamente sopra i die di DRAM. L'impilamento crea un problema termico, perché centinaia di watt devono uscire attraverso i TSV in uno stack DRAM sensibile alla temperatura, più un problema di distribuzione di potenza dovuto alla caduta IR. d-Matrix dice che uno stack 1-Hi con la logica sopra, a non più di 0,5 W/mm2, può essere raffreddato a liquido e tenere la DRAM sotto i 100 C.

L'azienda colloca la 3D DRAM tra i due estremi su una scala energetica. La SRAM on-die costa circa 50 fJ, mentre i sistemi 2.5D HBM4 stanno nell'intervallo 2,5-5 pJ quando si include l'energia a livello di chip. L'IO verticale 3D arriva a circa 0,3-0,4 pJ, circa 10 volte meno dell'HBM, perché è un percorso senza PHY su scala millimetrica e non una rotta su interposer su scala centimetrica. Meno strati impilati rispetto all'HBM significano anche un die più grande e un rendimento migliore.

Il decode è dove va il tempo

Il prefill elabora molti token del prompt in parallelo ed è limitato dal throughput di calcolo, mentre il decode produce un token alla volta ed è di norma limitato dalla banda di memoria. L'attention può passare a essere limitata dal calcolo con GQA alto e decoding speculativo, e il MoE resta limitato dalla memoria anche con batch modesti. Il decode è la fase che vuole banda enorme.

Poiché il decode domina il tempo di esecuzione effettivo, la parte limitata dalla memoria è quella che conta di più. d-Matrix sottolinea che la maggior parte del tempo di inferenza si spende nella fase di decode, quindi migliorare la banda del decode migliora le prestazioni complessive dell'inferenza. A 32.000.000.000 di byte per scheda, con pesi a 4 bit e una KV cache a 8 bit, d-Matrix dimensiona per stare in un solo rack. Uno scale-up da 72 schede può ospitare un modello di frontiera come Kimi K3 con un contesto da 1.000.000, e il disaggregation e il multi-rack vanno oltre il singolo rack Raptor.

L'implementazione si chiama Raptor. Un die logico TSMC N4 sta sopra un die di 3D DRAM con impilamento face-to-face da 36 um, un processo che d-Matrix descrive come collaudato, a basso costo, ad alto volume e ad alto rendimento. Ogni tensor engine ha bisogno di un flit da 128.000.000.000 di byte per accesso, e con 32.000.000.000 di byte consegnati per accesso di colonna da banchi da 32.000.000.000 di byte, si arriva a servire 4 banchi per canale. Il die ha 840 banchi, 768 dopo 72 di riserva, distribuiti su 256 canali per soli 3 banchi per canale. Con 3 banchi per canale, un singolo accesso restituisce 96.000.000.000 di byte, quindi consegnare un flit da 128.000.000.000 di byte richiede due accessi e preleva 192.000.000.000 di byte, sprecando circa il 33 percento della banda vicino ai 33 TB/s.

Lo stream blocking recupera quello spreco. d-Matrix condivide un accesso parziale da 32.000.000.000 di byte tra tre flit, così 4 accessi da 96.000.000.000 di byte alimentano 3 flit da 128.000.000.000 di byte, con 384.000.000.000 di byte in entrata e 384.000.000.000 di byte in uscita. L'overfetch scende a zero e non serve alcuna rete di shifting. Muovere 100 TB/s a 0,37 pJ/bit equivale a 296 W solo per l'IO, e il DBI convenzionale potrebbe risparmiare il 20 percento. Lo stream flipping offre quel 20 percento senza il pin, confrontando ogni flit con il precedente e invertendolo quando serve, con un singolo bit di metadati per flit portato insieme all'ECC.

Maia 200 di Microsoft prende l'altra strada

Microsoft ha usato Hot Chips 2026 per dettagliare il suo acceleratore Maia 200 di seconda generazione, che ServeTheHome ha trattato il 26 agosto. Il chip a 3nm ha 140.000.000.000 di transistor, sei stack di HBM3e, 7TB/s di banda HBM e un TDP di 750 Watt, con 10.000 TFLOPS di prestazioni FP4 su un die SoC da 820mm2. Usa un'architettura di dataflow Software Defined Local Access, in cui il dataflow è fissato in fase di compilazione e l'accesso ai dati resta dentro gli elementi di calcolo. Non c'è networking scale-out: la slide di Microsoft mostra 128 rack e 6.000 chip in un dominio scale-up su Ethernet unificato.

Due scommesse diverse, un vincolo condiviso. Che la soluzione sia impilare la DRAM sotto la logica o abbinare l'HBM a un dataflow software-defined, entrambi i progetti sono plasmati dal costo di muovere i bit da e verso la memoria.

Commenti 0

Fonti

2
  1. 01d-Matrix Raptor 3D-DRAM Accelerator for Generative Inference at Hot Chips 2026EN
  2. 02Microsoft's Maia 200 AI Accelerator at Hot Chips 2026EN

Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.

I contenuti sono stati preparati dalla redazione con il supporto dell'IA.

Chiara Romano

Chiara Romano

IA, modelli e tecnologie

Chiara Romano scrive di tecnologia, IA e modelli, media e internet per FLASH24, partendo da documentazione tecnica, repository e specifiche invece che da comunicati stampa. Per ogni modello o piattaforma che segue controlla versioni, licenze, parametri e benchmark, e verifica i numeri confrontandoli con i dati originali o con test indipendenti. Confronta le schede tecniche tra fornitori, parla con sviluppatori e amministratori di sistema, e tiene d'occhio le finestre di rilascio e le modifiche ai termini d'uso. Fuori dalla redazione gestisce self-hosting e reti domestiche, esperienza che le serve per capire come funzionano davvero i servizi che racconta. Non pubblica una notizia se la fonte primaria non è verificabile.

Redazione →

Commenti

0
  1. Nessun commento — sii il primo.

Scrivi un commento

I commenti sono pubblici. Non pubblichiamo insulti, spam né pubblicità.