Che cos'è un acceleratore AI? Dentro i chip che gestiscono l'inferenza nei datacenter
Gli acceleratori AI sono i chip specializzati che nei rack dei datacenter affiancano le normali CPU. Fanno i calcoli matriciali che stanno dietro ai chatbot e ai generatori di immagini.

Ogni grande modello linguistico che hai usato è quasi certamente stato servito da un chip che non è una CPU. È un acceleratore: silicio costruito per fare un solo tipo di aritmetica, la moltiplicazione di matrici, molto in fretta. Il resto della macchina esiste per tenerlo rifornito. Questa divisione del lavoro spiega gran parte del trambusto recente sul mercato dei datacenter. Spiega anche perché aziende che un tempo vendevano core CPU, memoria o packaging ora discutano di teraFLOPS, banda di memoria e di quanti banchi stanno su un die DRAM.
Il blocco di base, e perché ora SiFive ne vende uno
SiFive ha passato anni a concedere in licenza core CPU RISC-V che altre aziende collegavano ai propri motori AI. Stando a The Register, almeno alcune delle tensor processing unit di Google usano i core X280 di SiFive. Quei core gestiscono gli acceleratori di machine learning e tengono rifornite le loro unità di moltiplicazione matriciale. John Ronco, SVP e GM di SiFive UK, ha detto alla testata che i progetti di SiFive sono alla base anche dei core CPU nell'acceleratore Blackhole di Tenstorrent.
A settembre 2024 l'azienda ha cambiato posizione. Ha annunciato la serie Intelligence XM, un cluster acceleratore AI concedibile in licenza e non più solo la parte CPU. Il cluster di base contiene quattro core CPU RISC-V Intelligence X collegati a un motore di calcolo matriciale sviluppato internamente. Ogni cluster supporta fino a 1TB/sec di banda di memoria. L'articolo di The Register dice che dovrebbe garantire fino a 16 TOPS di INT8 o 8 teraFLOPS di BF16 per gigahertz.
"Per alcuni clienti, fare il proprio hardware resterà la scelta giusta", ha detto Ronco. "Ma altri volevano da SiFive qualcosa di più simile a un unico fornitore."
Quel dato per gigahertz sembra strano a prima vista. È un blocco costruttivo, non un chip. The Register nota che SiFive si aspetta che la maggior parte dei chip basati sul progetto giri intorno a 1GHz. Ronco prevede da quattro a otto cluster per chip. Con otto cluster e 1GHz si arriva fino a 64 teraFLOPS di BF16. Il materiale di presentazione del prodotto suggerisce che 512 cluster siano possibili. The Register calcola che così si raggiungerebbero circa 4 petaFLOPS di calcolo matriciale BF16. È più dei 2,5 petaFLOPS che Nvidia dichiara per le sue GPU Blackwell nella configurazione più potente. Quei numeri sono teorici. Le prestazioni reali dipendono dal clock, dal budget di potenza e raffreddamento, dal nodo di processo e da cos'altro condivide il die. SiFive dice anche che pubblicherà un'implementazione di riferimento open source della sua SiFive Kernel Library per abbassare la barriera all'adozione di RISC-V.
L'inferenza è un problema di memoria prima che di matematica
I fornitori di acceleratori parlano meno di potenza di calcolo grezza e più di memoria. È lì che l'inferenza rallenta davvero. d-Matrix ha usato la presentazione a Hot Chips 2026 per esporre l'aritmetica: i pesi dei modelli continuano a crescere, e la KV cache scala con la lunghezza del contesto moltiplicata per la dimensione del batch. ServeTheHome riporta l'esempio di d-Matrix di 64 utenti con contesto da 1.000.000 che producono circa 935GB di KV cache. Capacità e banda diventano entrambe problemi, ed entrambe continuano a crescere.
La SRAM centra l'obiettivo di banda ma non tiene quasi nulla. ServeTheHome la stima intorno a 4GB per una coppia di schede Corsair a circa 300 TB/s e 1ns di latenza. Una cella SRAM 6T è circa 10 volte più grande di una cella DRAM. HBM risolve la capacità ma sbatte contro un tetto pratico di banda intorno a 20 TB/s per i pacchetti HBM4 come quelli di Nvidia Vera Rubin e AMD Instinct MI455. La banda HBM ha anche un costo energetico. A 2,4 pJ/bit, spingere 100 TB/s attraverso HBM consuma circa 1,92 kW prima del traffico del fabric.
La risposta di d-Matrix è impilare il calcolo direttamente sui die DRAM. L'azienda dice che uno stack 1-Hi con la logica sopra, a non più di 0,5 W/mm2, può essere raffreddato a liquido e mantenere la DRAM sotto i 100C. L'IO verticale 3D si aggira intorno a 0,3-0,4 pJ, circa 10 volte meno dell'HBM. La sua implementazione Raptor mette un die logico TSMC N4 su un die DRAM 3D con impilamento face-to-face da 36um. Un scale-up da 72 schede è dimensionato per ospitare un modello di frontiera come Kimi K3 con contesto da 1.000.000. Usa 32.000.000.000 di byte per scheda con pesi a 4 bit e una KV cache a 8 bit. Il dettaglio ingegneristico conta perché mostra quanto della progettazione di un acceleratore riguardi ormai il movimento dei dati e non le unità multiply-accumulate. Il die di d-Matrix ha 840 banchi, 768 dopo le riserve, su 256 canali, cioè 3 banchi per canale. Consegnare un flit da 128.000.000.000 di byte da banchi da 32.000.000.000 di byte richiede quindi due accessi e ne preleva 192.000.000.000. Così si spreca circa il 33 percento della banda vicino a 33 TB/s. Lo stream blocking lo recupera condividendo un accesso parziale da 32.000.000.000 di byte su tre flit.
Il packaging, non solo il silicio
C'è un secondo vincolo che non ha niente a che vedere con il design del chip. Tom's Hardware ha riportato a marzo 2026 che Nittobo, azienda giapponese, controlla circa il 90 percento dell'offerta globale di T-glass. È un tessuto di fibra di vetro a basso CTE usato nel nucleo organico dei substrati per IC. Ogni package avanzato per chip AI lo contiene. La domanda supera l'offerta.
I numeri sono netti. Nittobo sta triplicando la capacità nel suo stabilimento di Fukushima, ma la nuova offerta non arriverà sul mercato prima di metà 2027. I prezzi sono saliti del 20-30 percento. I tempi di consegna per materiali a valle come i laminati rivestiti di rame sono passati dalle normali 8-10 settimane a oltre 20. Tom's Hardware cita dati di Nvidia che mostrano interposer cresciuti da 814mm2 per Hopper a 1.700mm2 per Blackwell, un aumento del 109 percento, con Rubin e Feynman che scalano ancora.
"Con l'offerta di T-glass ancora più limitata, i fornitori non danno più tempi di consegna", ha detto Bill Ho, analista di Yuanta.
Nittobo sta raddoppiando la capacità di filato grezzo nel suo stabilimento a Taiwan. Ha anche stretto un accordo di collaborazione con Nanya Plastics per esternalizzare parte della tessitura. Secondo Tom's Hardware, circa il 20 percento del tessuto di vetro di Nittobo dovrebbe essere tessuto da Nanya entro il 2027. Bank of America stima che il segmento materiali elettronici di Nittobo quasi raddoppierà le vendite da 40.900.000.000 di yen nel 2025 a 87.700.000.000 di yen entro marzo 2028. I margini operativi si avvicinano al 48 percento.
Chi sta effettivamente consegnando
Mentre si discute di tutto questo, alcune startup mettono silicio davanti al pubblico. Secondo ServeTheHome, Rebellions ha mostrato il suo acceleratore REBEL-Quad in funzione a Hot Chips 2025. Ha quattro ASIC di calcolo, quattro siti HBM3E per 144GB di memoria, ed è costruito su Samsung SF4X e CoWoS-S. Usa UCIe-A come interconnect per chiplet e un'interfaccia doppia PCIe Gen5 x16. L'azienda ha eseguito una demo live di Llama 3.3 70.000.000.000 su una scheda di sviluppo a 35,5 msec di media per token di output. ServeTheHome nota che molte aziende di acceleratori non arrivano mai a una demo pubblica in funzione.
Sul fronte client, Draw Things ha riportato che Metal FlashAttention v2.5 con Neural Accelerators offre prestazioni fino a 4,6 volte migliori su Apple M5 rispetto a M4. I miglioramenti grezzi sono stati da 3,6 a 5,5 volte, con guadagni end-to-end da 3,3 a 4,6 volte su un iPad M5. Il software è un'anteprima: il supporto BF16 è stato inizialmente disabilitato per bug irrisolti, e gli shader richiedono più tempo per essere specializzati. Le misure sono state fatte con un ice pad sotto l'iPad per il massimo raffreddamento. Questo dice tanto sul margine termico quanto sul chip.
Niente di tutto ciò stabilisce quale architettura vincerà. Mostra però che l'acceleratore da datacenter non è più una singola categoria di prodotto. È uno stack di core CPU, motori matriciali, tecnologia di memoria, materiali di packaging e librerie software. Ognuno ha il suo collo di bottiglia e i suoi tempi di consegna.
Fonti
5- 01SiFive shifts from RISC-V cores for AI chips to designing its own acceleratorEN
- 02Shortages of crucial chip packaging material threatens AI accelerator supplyEN
- 03d-Matrix Raptor 3D-DRAM Accelerator for Generative Inference at Hot Chips 2026EN
- 04Rebellions REBEL-Quad UCIe and 144GB HBM3E Accelerator at Hot Chips 2025EN
- 05Metal FlashAttention v2.5 with Neural Accelerators on the Apple M5 ChipEN
Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.
I contenuti sono stati preparati dalla redazione con il supporto dell'IA.
Commenti
0- Nessun commento — sii il primo.