Come funzionano davvero gli acceleratori AI: core, cluster e memoria
SiFive concede ora in licenza un cluster acceleratore AI pronto all'uso, costruito attorno a quattro core CPU RISC-V e a un motore di calcolo matriciale proprietario. Lo ha riferito The Register il 19 settembre 2024.

SiFive, che per anni ha progettato core CPU RISC-V per i chip AI di altre aziende, ora vende un progetto di acceleratore completo. Ogni cluster Intelligence XM abbina quattro dei suoi core CPU RISC-V della serie X a un motore di calcolo matriciale sviluppato internamente, secondo The Register.
È un cambio di passo. Le tensor processing unit di Google usano già i core X280 di SiFive per alimentare le unità di moltiplicazione matriciale. John Ronco di SiFive UK ha detto a The Register che i progetti dell'azienda sono alla base anche dei core CPU nell'acceleratore Blackhole di Tenstorrent. La differenza ora è che SiFive porta il proprio motore matriciale invece di agganciare i core a quello di terzi.
Cosa dicono i numeri, e cosa non dicono
Ogni cluster supporta fino a 1TB/sec di larghezza di banda di memoria attraverso un'interfaccia hub coerente e dovrebbe garantire fino a 16 TOPS di INT8 o 8 teraFLOPS di BF16 per gigahertz. La formulazione per gigahertz conta perché un cluster non è un chip. Le prestazioni dipendono da quanti cluster il cliente colloca sul die, da come li collega, da cos'altro gli sta accanto e dalla frequenza finale del componente.
Ronco prevede che la maggior parte dei progetti userà da quattro a otto cluster. A 1GHz significherebbe da 4 a 8TB/sec di larghezza di banda di memoria di picco e da 32 a 64 teraFLOPS di BF16. Le slide di prodotto di SiFive suggeriscono che 512 cluster siano possibili. A 1GHz sarebbero circa quattro petaFLOPS di BF16, sopra i 2,5 petaFLOPS che Nvidia dichiara per le sue GPU Blackwell di punta. Una Nvidia H100, per confronto, arriva a quasi un petaFLOPS di BF16 denso.
Il problema è la fisica. Tenere 1GHz su 512 cluster senza sbattere contro i limiti termici o di potenza è la questione aperta, e Ronco è stato esitante nel dire fino a che punto il progetto sia scalabile. Si aspetta anche che i cluster non vengano usati largamente per l'addestramento AI. SiFive dice che pubblicherà un'implementazione di riferimento open source della sua SiFive Kernel Library.
La larghezza di banda di memoria è il collo di bottiglia ricorrente
Il motivo per cui gli acceleratori sono costruiti così è che l'inferenza, soprattutto la fase di decode, è limitata dalla memoria. d-Matrix, presentandosi a Hot Chips 2026, ha messo il problema sul tavolo senza giri di parole: 64 utenti con contesto da 1.000.000 possono significare circa 935GB di KV cache. Il suo progetto Raptor impila un die logico TSMC N4 su 3D DRAM con stacking face-to-face da 36 micrometri a 32GB per scheda, con un rack da 72 schede dimensionato per i modelli di frontiera.
Rebellions ha mostrato un approccio diverso a Hot Chips 2025. Il suo REBEL-Quad mette quattro ASIC di calcolo e quattro siti HBM3E per 144GB di memoria su un package Samsung SF4X e CoWoS-S, usando UCIe-A come interconnect per i chiplet. ServeTheHome l'ha visto girare Llama 3.3 70.000.000.000 su una scheda di sviluppo a 35,5 millisecondi di media per token di output.
Fornitori, packaging e la stretta a monte
Niente di tutto questo arriva sul mercato senza materiali per il packaging. Tom's Hardware ha riferito a marzo 2026 che Nittobo controlla circa il 90% dell'offerta globale di T-glass, il tessuto di vetro a basso CTE usato nei core dei substrati IC. I prezzi sono saliti del 20 al 30%, mentre i tempi di consegna dei laminati rivestiti in rame si sono allungati oltre le 20 settimane rispetto alle normali 8 o 10. Nittobo sta triplicando la capacità nel suo stabilimento di Fukushima, ma la nuova offerta non arriverà sul mercato prima di metà 2027. Bank of America stima che il segmento dei materiali elettronici quasi raddoppierà le vendite, da 40.900.000.000 di yen nel 2025 a 87.700.000.000 di yen entro marzo 2028.
Anche il livello politico è ingarbugliato. TSMC avrebbe tagliato fuori il designer cinese Sophgo nell'ottobre 2024, dopo che un cliente aveva ordinato un chip simile all'Ascend 910.000.000.000 di Huawei. Sophgo ha negato qualsiasi rapporto con Huawei e ha detto di aver presentato a TSMC un rapporto di indagine.
Fonti
5- 01SiFive shifts from RISC-V cores for AI chips to designing its own acceleratorEN
- 02Shortages of crucial chip packaging material threatens AI accelerator supplyEN
- 03d-Matrix Raptor 3D-DRAM Accelerator for Generative Inference at Hot Chips 2026EN
- 04Rebellions REBEL-Quad UCIe and 144GB HBM3E Accelerator at Hot Chips 2025EN
- 05TSMC reportedly cuts off RISC-V chip designer linked to Huawei acceleratorsEN
Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.
I contenuti sono stati preparati dalla redazione con il supporto dell'IA.
Commenti
0- Nessun commento — sii il primo.