Was ist ein KI-Beschleuniger? Ein Blick in die Chips, die Inferenz im Rechenzentrum stemmen
KI-Beschleuniger sind spezialisierte Chips, die in Rechenzentrumsracks neben normalen CPUs sitzen und die Matrizenrechnung hinter Chatbots und Bildgeneratoren erledigen. Wie sie gebaut werden und wer sie bauen kann, ist interessanter als die Abkürzungen vermuten lassen.

Jedes große Sprachmodell, das Sie benutzt haben, lief fast sicher auf einem Chip, der keine CPU ist. Es ist ein Beschleuniger: Silizium, das eine einzige Art von Rechnung sehr schnell ausführt, die Matrixmultiplikation. Der Rest der Maschine ist dafür da, ihn zu versorgen. Diese Arbeitsteilung erklärt den größten Teil des Trubels, den der Rechenzentrumsmarkt zuletzt erlebt hat. Sie erklärt auch, warum Firmen, die früher CPU-Kerne, Speicher oder Packaging verkauft haben, heute über teraFLOPS, Speicherbandbreite und die Zahl der Bänke auf einem DRAM-Die streiten.
Der Grundbaustein, und warum SiFive jetzt einen verkauft
SiFive hat jahrelang RISC-V-CPU-Kerne lizenziert, die andere Firmen an ihre eigenen KI-Engines angebaut haben. Laut The Register nutzen zumindest einige von Googles Tensor Processing Units SiFives X280-Kerne, um die Machine-Learning-Beschleuniger zu verwalten und ihre Matrixmultiplikationseinheiten zu versorgen. SiFives Entwürfe stecken auch in den CPU-Kernen von Tenstorrents Beschleuniger Blackhole, sagte John Ronco, SVP und GM von SiFive UK, der Publikation.
Im September 2024 änderte das Unternehmen seine Position. Es kündigte die Intelligence XM-Serie an, einen lizenzierbaren KI-Beschleuniger-Cluster statt nur des CPU-Teils. Der Basis-Cluster enthält vier Intelligence X RISC-V CPU-Kerne, die mit einer eigenen Matrix-Math-Engine verbunden sind. Jeder Cluster unterstützt bis zu 1 TB/s Speicherbandbreite und soll pro Gigahertz bis zu 16 TOPS bei INT8 oder 8 teraFLOPS bei BF16 liefern, so die Darstellung von The Register.
"Für manche Kunden ist es weiterhin richtig, ihre eigene Hardware zu bauen", sagte Ronco. "Aber manche Kunden wollten eher einen One-Stop-Shop von SiFive."
Der Wert pro Gigahertz wirkt zunächst seltsam. Er beschreibt einen Baustein, nicht einen Chip. The Register merkt an, dass SiFive die meisten Chips auf Basis des Entwurfs bei etwa 1 GHz erwartet und dass Ronco mit vier bis acht Clustern pro Chip rechnet. Bei acht Clustern und 1 GHz sind das bis zu 64 teraFLOPS bei BF16. Die Produktpräsentation deutet 512 Cluster als möglich an, was nach Rechnung von The Register etwa vier petaFLOPS BF16-Matrixrechnung erreichen würde, mehr als die 2,5 petaFLOPS, die Nvidia für seine bestausgestatteten Blackwell-GPUs angibt. Diese Zahlen sind theoretisch. Die reale Leistung hängt vom Takt, vom Strom- und Kühlbudget, vom Fertigungsprozess und davon ab, was sich sonst noch das Die teilt. SiFive will außerdem eine Open-Source-Referenzimplementierung seiner SiFive Kernel Library veröffentlichen, um die Hürde für die RISC-V-Einführung zu senken.
Inferenz ist zuerst ein Speicherproblem, dann ein Rechenproblem
Die Anbieter von Beschleunigern sprechen heute weniger über reine Rechenleistung und mehr über Speicher, weil dort die Inferenz tatsächlich langsamer wird. d-Matrix nutzte seinen Auftritt bei Hot Chips 2026, um die Rechnung aufzumachen: Die Modellgewichte wachsen weiter, und der KV-Cache skaliert mit Kontextlänge mal Batch-Größe. ServeTheHome berichtet von d-Matrixs Beispiel mit 64 Nutzern bei 1.000.000 Kontext, das rund 935 GB KV-Cache erzeugt. Kapazität und Bandbreite werden beide zum Problem, und beide wachsen weiter.
SRAM erreicht die Bandbreitenvorgabe, hält aber fast nichts, etwa 4 GB für ein Corsair-Kartenpaar bei rund 300 TB/s und 1 ns Latenz, so ServeTheHome. Eine 6T-SRAM-Zelle ist etwa 10-mal größer als eine DRAM-Zelle. HBM löst die Kapazitätsfrage, stößt aber bei HBM4-Paketen wie Nvidias Vera Rubin und AMDs Instinct MI455 an eine praktische Bandbreitengrenze von rund 20 TB/s, und HBM-Bandbreite kostet Strom: Bei 2,4 pJ/Bit verbraucht ein Durchsatz von 100 TB/s über HBM etwa 1,92 kW, bevor Fabric-Verkehr dazukommt.
d-Matrix antwortet darauf, Rechenlogik direkt auf DRAM-Dies zu stapeln. Das Unternehmen sagt, ein 1-Hi-Logic-on-Top-Stapel mit höchstens 0,5 W/mm2 lasse sich flüssig kühlen und halte den DRAM unter 100 C. Vertikales 3D-IO liegt bei etwa 0,3 bis 0,4 pJ, rund 10-mal niedriger als HBM. Die Umsetzung Raptor setzt ein TSMC-N4-Logic-Die über 36 um Face-to-Face-Stacking auf ein 3D-DRAM-Die, und ein Scale-up mit 72 Karten ist so dimensioniert, dass es ein Frontier-Modell wie Kimi K3 bei 1.000.000 Kontext beherbergt, mit 32.000.000.000 Byte pro Karte bei 4-Bit-Gewichten und einem 8-Bit-KV-Cache. Das technische Detail zählt, weil es zeigt, wie stark sich Beschleunigerdesign heute um Datenbewegung dreht und nicht mehr um Multiply-Accumulate-Einheiten. Das Die von d-Matrix hat 840 Bänke, nach Reservespalten 768, verteilt auf 256 Kanäle, was 3 Bänken pro Kanal entspricht. Ein 128.000.000.000-Byte-Flit aus 32-Byte-Bänken braucht daher zwei Zugriffe und holt 192.000.000.000 Byte, was nahe 33 TB/s etwa 33 Prozent der Bandbreite verschwendet. Stream Blocking gewinnt sie zurück, indem ein partieller 32-Byte-Zugriff über drei Flits geteilt wird.
Packaging, nicht nur Silizium
Es gibt eine zweite Einschränkung, die nichts mit Chipdesign zu tun hat. Tom's Hardware berichtete im März 2026, dass Nittobo, ein japanisches Unternehmen, rund 90 Prozent des weltweiten Angebots an T-Glass kontrolliert, einem Glasfasergewebe mit niedrigem CTE für den organischen Kern von IC-Substraten. In jedem fortschrittlichen KI-Chip-Package steckt es. Die Nachfrage übersteigt das Angebot.
Die Zahlen sind deutlich. Nittobo verdreifacht die Kapazität in seinem Werk in Fukushima, doch das neue Angebot erreicht den Markt erst Mitte 2027. Die Preise sind um 20 bis 30 Prozent gestiegen, und die Lieferzeiten für nachgelagerte Materialien wie kupferkaschierte Laminate haben sich von normalerweise 8 bis 10 Wochen auf über 20 gestreckt. Nach Daten von Nvidia, die Tom's Hardware zitiert, sind die Interposer-Größen von 814 mm2 bei Hopper auf 1.700 mm2 bei Blackwell gewachsen, ein Plus von 109 Prozent, wobei Rubin und Feynman weiter skalieren.
"Da das T-Glass-Angebot jetzt noch knapper ist, nennen die Lieferanten keine Lieferzeiten mehr", sagte Bill Ho, Analyst bei Yuanta.
Nittobo verdoppelt die Rohgarnkapazität in seinem Werk in Taiwan und hat eine Kooperationsvereinbarung mit Nanya Plastics geschlossen, um einen Teil des Webens auszulagern. Bis 2027 sollen rund 20 Prozent von Nittobos Glasgewebe von Nanya gewebt werden, so Tom's Hardware. Bank of America schätzt, dass Nittobos Segment für Elektronikmaterialien den Umsatz von 40.900.000.000 Yen im Jahr 2025 auf 87.700.000.000 Yen bis März 2028 fast verdoppelt, mit operativen Margen nahe 48 Prozent.
Wer tatsächlich liefert
Während all das diskutiert wird, bringen einige Start-ups Silizium vor Publikum. Rebellions zeigte seinen Beschleuniger REBEL-Quad bei Hot Chips 2025, so ServeTheHome: vier Compute-ASICs, vier HBM3E-Stellen für 144 GB Speicher, gebaut auf Samsung SF4X und CoWoS-S, mit UCIe-A als Chiplet-Interconnect und einer dualen PCIe-Gen5-x16-Schnittstelle. Das Unternehmen führte eine Live-Demo von Llama 3.3 70.000.000.000 auf einem Entwicklungsboard vor, mit durchschnittlich 35,5 ms pro ausgegebenem Token. ServeTheHome merkte an, dass viele Beschleunigerfirmen nie bis zu einer öffentlich laufenden Demo kommen.
Auf der Client-Seite berichtete Draw Things, dass Metal FlashAttention v2.5 mit Neural Accelerators auf Apples M5 bis zu 4,6-mal bessere Leistung liefert als auf dem M4, mit rohen Verbesserungen von 3,6 bis 5,5-mal und End-to-End-Gewinnen von 3,3 bis 4,6-mal auf einem M5 iPad. Die Software ist eine Vorschau: BF16-Unterstützung war zunächst wegen ungelöster Fehler deaktiviert, und Shader brauchen länger für die Spezialisierung. Die Messungen entstanden mit einem Eis-Pad unter dem iPad für maximale Kühlung, was ebenso viel über thermische Reserven wie über den Chip aussagt.
Nichts davon entscheidet, welche Architektur gewinnt. Es zeigt aber, dass der Rechenzentrums-Beschleuniger keine einzelne Produktkategorie mehr ist. Er ist ein Stapel aus CPU-Kernen, Matrix-Engines, Speichertechnologie, Verpackungsmaterialien und Softwarebibliotheken, jedes Teil mit eigenem Engpass und eigenen Lieferzeiten. Die 6.000.000.000.000 Yen, die Bank of America für Nittobos Elektroniksparte bis März 2028 erwartet, sind dafür ein Beleg aus einer ganz anderen Ecke der Lieferkette.
Quellen
5- 01SiFive shifts from RISC-V cores for AI chips to designing its own acceleratorEN
- 02Shortages of crucial chip packaging material threatens AI accelerator supplyEN
- 03d-Matrix Raptor 3D-DRAM Accelerator for Generative Inference at Hot Chips 2026EN
- 04Rebellions REBEL-Quad UCIe and 144GB HBM3E Accelerator at Hot Chips 2025EN
- 05Metal FlashAttention v2.5 with Neural Accelerators on the Apple M5 ChipEN
Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.
Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.
Kommentare
0- Noch keine Kommentare — seien Sie der Erste.