Le mur de la mémoire dans les accélérateurs d'IA : d-Matrix, Microsoft et la DRAM 3D
Les accélérateurs d'IA se heurtent à un problème de mémoire que les concepteurs résolvent de plus en plus en empilant les puces verticalement. À Hot Chips 2026, d-Matrix a affirmé que son design Raptor, qui place une puce logique TSMC N4 au-dessus d'une puce de DRAM 3D, peut dépasser le plafond de bande passante que les boîtiers HBM atteignent selon lui autour de 20 TB/s.

Le poids des modèles ne cesse de croître. Le cache KV évolue avec la longueur de contexte multipliée par la taille du lot. ServeTheHome, qui rend compte de la présentation de d-Matrix à Hot Chips 2026 le 14 septembre, pose l'arithmétique : 64 utilisateurs à 1 000 000 de contexte peuvent représenter environ 935 Go de cache KV. Poids et cache créent ensemble un problème de capacité et de bande passante. Les deux continuent d'augmenter.
La SRAM atteint la bande passante visée, mais seulement à très petite échelle. Une paire de cartes accélératrices Corsair SRAM atteint environ 300 TB/s pour une latence d'environ 1 ns, mais ne tient que 4 Go environ. Une cellule SRAM 6T est environ 10 fois plus grande qu'une cellule DRAM. Les fuites atteignent des dizaines de watts à l'échelle du Go. La SRAM convient donc à un modèle draft en décodage spéculatif, pas à contenir les poids d'un modèle de frontière.
La HBM résout la capacité, pas la bande passante
La HBM règle la moitié du problème, celle de la capacité, mais bute sur la bande passante. La vitesse des broches et la largeur d'entrée-sortie par puce de base progressent lentement. Le nombre de piles est limité par la surface de boîtier disponible, environ 8 à 16 piles par boîtier. d-Matrix cite un plafond pratique de bande passante autour de 20 TB/s pour les boîtiers HBM4 comme le NVIDIA Vera Rubin et l'AMD Instinct MI455.
Une telle bande passante a un prix énergétique. À 2,4 pJ/bit, faire passer 100 TB/s par la HBM consomme environ 1,92 kW avant même de compter le trafic de fabric. Selon le compte rendu de ServeTheHome, les boîtiers actuels manquent à la fois de surface et de budget de puissance pour atteindre la bande passante de classe SRAM avec la HBM.
La réponse de d-Matrix consiste à empiler le calcul directement sur les puces de DRAM. L'empilement crée un défi thermique, car des centaines de watts doivent s'échapper par les TSV dans une pile de DRAM sensible à la température. Il crée aussi un défi d'alimentation électrique à cause de la chute IR. d-Matrix affirme qu'une pile 1-Hi logique au-dessus, à 0,5 W/mm2 au maximum, peut être refroidie par liquide et maintenir la DRAM sous 100 C.
L'entreprise place la DRAM 3D entre les deux extrêmes sur une échelle énergétique. La SRAM sur puce coûte environ 50 fJ. Les systèmes 2,5D HBM4 tournent dans la plage de 2,5 à 5 pJ quand on inclut l'énergie au niveau de la puce. L'IO vertical 3D tombe autour de 0,3 à 0,4 pJ, environ 10 fois moins que la HBM, parce qu'il s'agit d'un chemin sans PHY à l'échelle du millimètre et non d'une route d'interposeur à l'échelle du centimètre. Moins de couches empilées que la HBM signifie aussi une puce plus grande et un meilleur rendement.
Le décodage est ce qui prend le temps
Le prefill traite beaucoup de tokens de prompt en parallèle et dépend du débit de calcul. Le décodage produit un token à la fois et dépend typiquement de la bande passante mémoire. L'attention peut basculer vers le calcul avec un GQA élevé et le décodage spéculatif. Le MoE reste limité par la mémoire même à des tailles de lot modestes. Le décodage est la phase qui réclame une bande passante énorme.
Comme le décodage domine le temps d'exécution réel, la partie limitée par la mémoire est la plus importante. d-Matrix note que l'essentiel du temps d'inférence se passe dans la phase de décodage, donc améliorer la bande passante de décodage améliore la performance globale. À 32 000 000 000 d'octets par carte, avec des poids en 4 bits et un cache KV en 8 bits, d-Matrix dimensionne le système pour tenir dans une baie. Une montée en charge de 72 cartes peut héberger un modèle de frontière comme Kimi K3 à 1 000 000 de contexte. La désagrégation et les configurations multi-baies vont au-delà d'une seule baie Raptor.
L'implémentation elle-même s'appelle Raptor. Une puce logique TSMC N4 repose sur une puce de DRAM 3D via un empilement face à face de 36 um, un procédé que d-Matrix décrit comme éprouvé, peu coûteux, à grand volume et à haut rendement. Chaque moteur tensoriel a besoin d'un flit de 128 000 000 000 d'octets par accès. Avec 32 000 000 000 d'octets livrés par accès colonne depuis des bancs de 32 000 000 000 d'octets, il faut 4 bancs par canal. La puce compte 840 bancs, 768 après 72 de réserve, répartis sur 256 canaux, soit seulement 3 bancs par canal. Avec 3 bancs par canal, un seul accès renvoie 96 000 000 000 d'octets. Livrer un flit de 128 000 000 000 d'octets demande alors deux accès et récupère 192 000 000 000 d'octets, gaspillant environ 33 pour cent de la bande passante près de 33 TB/s.
Le blocage de flux récupère ce gaspillage. d-Matrix partage un accès partiel de 32 000 000 000 d'octets entre trois flits, si bien que 4 accès à 96 000 000 000 d'octets alimentent 3 flits à 128 000 000 000 d'octets, avec 384 000 000 000 d'octets en entrée pour 384 000 000 000 d'octets en sortie. La surlecture tombe à zéro et aucun réseau de décalage n'est nécessaire. Déplacer 100 TB/s à 0,37 pJ/bit revient à 296 W rien que pour l'IO, et le DBI classique pourrait économiser 20 pour cent. Le retournement de flux apporte ces 20 pour cent sans broche supplémentaire. Il compare chaque flit au précédent et l'inverse au besoin, avec un seul bit de métadonnée par flit porté à côté de l'ECC.
Le Maia 200 de Microsoft prend l'autre voie
Microsoft a profité de Hot Chips 2026 pour détailler son accélérateur Maia 200 de deuxième génération, que ServeTheHome a couvert le 26 août. La puce en 3 nm compte 140 000 000 000 de transistors, six piles de HBM3e, 7 TB/s de bande passante HBM et un TDP de 750 W, avec 10 000 TFLOPS de performance FP4 sur une puce SoC de 820 mm2. Elle utilise une architecture de flux de données Software Defined Local Access, où le flux est fixé à la compilation et l'accès aux données reste dans les éléments de calcul. Pas de réseau de scale-out : la diapositive de Microsoft montre 128 baies et 6 000 puces dans un domaine de montée en charge sur Ethernet unifié.
Deux paris différents, une contrainte commune. Que la solution consiste à empiler la DRAM sous la logique ou à associer la HBM à un flux de données défini par logiciel, les deux designs sont façonnés par le coût de déplacement des bits vers la mémoire et depuis elle.
Sources
2- 01d-Matrix Raptor 3D-DRAM Accelerator for Generative Inference at Hot Chips 2026EN
- 02Microsoft's Maia 200 AI Accelerator at Hot Chips 2026EN
Tous les chiffres et citations de ce texte proviennent des sources citées ci-dessous.
Les contenus ont été préparés par l'équipe de rédaction, assistée par l'IA.
Commentaires
0- Aucun commentaire — soyez le premier.