Die Speichermauer bei KI-Beschleunigern: d-Matrix, Microsoft und der Vorstoß zu 3D-DRAM
KI-Beschleuniger stoßen an ein Speicherproblem, das Entwickler zunehmend durch vertikal gestapelte Chips lösen. Auf den Hot Chips 2026 argumentierte d-Matrix, dass sein Raptor-Design, bei dem ein TSMC-N4-Logikdie auf einem 3D-DRAM-Die sitzt, die Bandbreitengrenze schlagen kann, die HBM-Pakete nach eigener Darstellung bei etwa 20 TB/s erreichen.

Die Modellgewichte wachsen weiter. Der KV-Cache skaliert mit der Kontextlänge multipliziert mit der Batch-Größe. ServeTheHome rechnet in einem Bericht über d-Matrix' Präsentation auf den Hot Chips 2026 vom 14. September vor: 64 Nutzer bei 1.000.000 Kontext können rund 935 GB KV-Cache bedeuten. Gewichte und Cache zusammen erzeugen ein Problem bei Kapazität und Bandbreite. Beides wächst weiter.
SRAM erreicht die Bandbreitenvorgabe, aber nur in winzigem Maßstab. Ein Paar Corsair-SRAM-Beschleunigerkarten kommt auf rund 300 TB/s bei etwa 1 ns Latenz, fasst aber nur etwa 4 GB. Eine 6T-SRAM-Zelle ist rund 10-mal größer als eine DRAM-Zelle. Leckströme erreichen im GB-Maßstab Dutzende Watt. Damit taugt SRAM für ein Draft-Modell beim spekulativen Decoding, nicht für die Gewichte eines Frontier-Modells.
HBM löst die Kapazität, nicht die Bandbreite
HBM löst die Kapazitätshälfte des Problems, hat aber Mühe mit der Bandbreite. Pin-Geschwindigkeit und I/O-Breite pro Basisdie verbessern sich langsam. Die Zahl der Stapel ist durch die verfügbare Package-Beachfront begrenzt, grob 8 bis 16 Stapel pro Package. d-Matrix nennt eine praktische Bandbreitengrenze von etwa 20 TB/s für HBM4-Packages wie NVIDIA Vera Rubin und AMD Instinct MI455.
So hohe Bandbreite hat einen Strompreis. Bei 2,4 pJ/bit ziehen 100 TB/s über HBM etwa 1,92 kW, bevor irgendein Fabric-Verkehr mitgezählt wird. Laut dem Bericht von ServeTheHome fehlen heutigen Packages sowohl die Beachfront als auch das Strombudget, um mit HBM SRAM-Klasse an Bandbreite zu erreichen.
d-Matrix antwortet mit Rechenlogik direkt auf gestapelten DRAM-Dies. Das Stapeln schafft eine thermische Herausforderung, weil Hunderte Watt durch TSVs in einem temperaturempfindlichen DRAM-Stapel entweichen müssen. Auch die Stromversorgung wird schwierig wegen IR-Drop. d-Matrix sagt, ein 1-Hi-Logic-on-Top-Stapel mit höchstens 0,5 W/mm2 lasse sich flüssigkeitskühlen und halte DRAM unter 100 C.
Das Unternehmen ordnet 3D-DRAM auf einer Energieleiter zwischen den beiden Extremen ein. On-Die-SRAM kostet rund 50 fJ. 2.5D-HBM4-Systeme liegen im Bereich von 2,5 bis 5 pJ, wenn die Energie auf Chipebene mitgerechnet wird. Vertikales 3D-IO kommt auf etwa 0,3 bis 0,4 pJ, rund 10-mal weniger als HBM, weil es ein PHY-loser Pfad im Millimetersmaßstab ist und keine Interposer-Route im Zentimetermaßstab. Weniger gestapelte Schichten als bei HBM bedeuten außerdem ein größeres Die und bessere Ausbeute.
Das Decoding frisst die Zeit
Prefill verarbeitet viele Prompt-Token parallel und ist durch den Rechendurchsatz begrenzt. Decode erzeugt jeweils ein Token und ist typischerweise durch die Speicherbandbreite begrenzt. Attention kann bei hohem GQA und spekulativem Decoding rechengebunden werden. MoE bleibt auch bei mäßigen Batch-Größen speichergebunden. Decode ist die Phase, die riesige Bandbreite braucht.
Weil Decode die Laufzeit dominiert, zählt der speichergebundene Teil am meisten. d-Matrix merkt an, dass die meiste Inferenzzeit in der Decode-Phase verbracht wird, sodass mehr Decode-Bandbreite die gesamte Inferenzleistung verbessert. Bei 32.000.000.000 Byte pro Karte, mit 4-Bit-Gewichten und einem 8-Bit-KV-Cache, dimensioniert d-Matrix das System so, dass es in ein Rack passt. Ein Scale-up mit 72 Karten kann ein Frontier-Modell wie Kimi K3 bei 1.000.000 Kontext beherbergen. Disaggregation und Multi-Rack-Aufbauten reichen über ein einzelnes Raptor-Rack hinaus.
Die Implementierung selbst heißt Raptor. Ein TSMC-N4-Logikdie sitzt auf einem 3D-DRAM-Die, gestapelt Face-to-Face mit 36 um, ein Verfahren, das d-Matrix als bewährt, kostengünstig, hochvolumig und ausbeutestark beschreibt. Jede Tensor-Engine braucht pro Zugriff ein Flit von 128.000.000.000 Byte. Aus 32.000.000.000-Byte-Bänken kommen pro Spaltenzugriff 32.000.000.000 Byte, daraus folgt ein Bedarf von 4 Bänken pro Kanal. Das Die hat 840 Bänke, nach 72 Ersatzbänken 768, verteilt auf 256 Kanäle, also nur 3 Bänke pro Kanal. Mit 3 Bänken pro Kanal liefert ein einzelner Zugriff 96.000.000.000 Byte. Ein Flit von 128.000.000.000 Byte braucht dann zwei Zugriffe und holt 192.000.000.000 Byte, wodurch nahe 33 TB/s etwa 33 Prozent der Bandbreite verschwendet werden.
Stream Blocking holt diese Verschwendung zurück. d-Matrix teilt einen partiellen 32.000.000.000-Byte-Zugriff auf drei Flits auf, sodass 4 Zugriffe mit 96.000.000.000 Byte drei Flits mit 128.000.000.000 Byte versorgen, mit 384.000.000.000 Byte hinein und 384.000.000.000 Byte heraus. Der Overfetch sinkt auf null, ein Shifting-Netzwerk ist nicht nötig. 100 TB/s bei 0,37 pJ/bit ergeben 296 W allein für die I/O, und herkömmliches DBI könnte 20 Prozent sparen. Stream Flipping liefert diese 20 Prozent ohne den Pin. Es vergleicht jedes Flit mit dem vorigen und invertiert bei Bedarf, mit einem einzigen Metadatenbit pro Flit neben der ECC.
Microsofts Maia 200 geht den anderen Weg
Microsoft nutzte die Hot Chips 2026, um seinen Beschleuniger Maia 200 der zweiten Generation vorzustellen, über den ServeTheHome am 26. August berichtete. Der 3nm-Chip hat 140.000.000.000 Transistoren, sechs Stapel HBM3e, 7 TB/s HBM-Bandbreite und eine TDP von 750 Watt, bei 10.000 TFLOPS FP4-Leistung auf einem 820 mm2 großen SoC-Die. Er nutzt eine Software Defined Local Access genannte Dataflow-Architektur, bei der der Dataflow zur Compile-Zeit festgelegt wird und Datenzugriffe in den Rechenelementen bleiben. Scale-out-Netzwerk gibt es nicht: Microsofts Folie zeigt 128 Racks und 6.000 Chips in einer Scale-up-Domain über einheitliches Ethernet.
Zwei verschiedene Wetten, eine gemeinsame Einschränkung. Ob der Fix darin besteht, DRAM unter Logik zu stapeln oder HBM mit einem softwaredefinierten Dataflow zu paaren, beide Designs sind von den Kosten geprägt, Bits zum Speicher und zurück zu bewegen.
Quellen
2- 01d-Matrix Raptor 3D-DRAM Accelerator for Generative Inference at Hot Chips 2026EN
- 02Microsoft's Maia 200 AI Accelerator at Hot Chips 2026EN
Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.
Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.
Kommentare
0- Noch keine Kommentare — seien Sie der Erste.