Czym jest akcelerator AI? Kulisy układów, które liczą inferencję w centrach danych
Akceleratory AI to wyspecjalizowane układy, które w szafach centrów danych stoją obok zwykłych procesorów. Wykonują mnożenie macierzy, na którym opierają się chatboty i generatory obrazów.

Każdy duży model językowy, z którego korzystałeś, obsługiwał niemal na pewno układ inny niż CPU. To akcelerator: krzem zbudowany po to, żeby bardzo szybko wykonywać jeden rodzaj arytmetyki, mnożenie macierzy. Reszta maszyny istnieje po to, żeby go karmić. Ten podział pracy wyjaśnia większość ostatnich zawirowań na rynku centrów danych. Tłumaczy też, dlaczego firmy, które kiedyś sprzedawały rdzenie CPU, pamięci albo obudowy, teraz spierają się o teraFLOPS, przepustowość pamięci i liczbę banków mieszczących się na jednym układzie DRAM.
Podstawowy blok, czyli dlaczego SiFive zaczął go sprzedawać
SiFive przez lata licencjonował rdzenie CPU RISC-V, które inne firmy dokładały do własnych silników AI. Według The Register przynajmniej część tensorowych jednostek przetwarzających Google'a korzysta z rdzeni X280 od SiFive. Te rdzenie zarządzają akceleratorami uczenia maszynowego i dostarczają danych jednostkom mnożenia macierzy. John Ronco, SVP i GM SiFive UK, powiedział redakcji, że projekty SiFive leżą też u podstaw rdzeni CPU w akceleratorze Blackhole firmy Tenstorrent.
We wrześniu 2024 roku firma zmieniła pozycję. Ogłosiła serię Intelligence XM, czyli licencjonowany klaster akceleratorów AI, a nie tylko część CPU. Podstawowy klaster zawiera cztery rdzenie CPU RISC-V Intelligence X połączone z własnym silnikiem matematyki macierzowej. Każdy klaster obsługuje do 1TB/s przepustowości pamięci. Według tekstu The Register ma dostarczać do 16 TOPS w INT8 albo 8 teraFLOPS w BF16 na gigaherc.
"Dla części klientów nadal właściwym rozwiązaniem będzie robienie własnego sprzętu" - powiedział Ronco. "Ale część klientów chciała od SiFive bardziej kompleksowej oferty z jednego źródła".
Ta wartość na gigaherc z początku wygląda dziwnie. To klocek, nie układ. The Register zauważa, że SiFive spodziewa się, iż większość układów opartych na tym projekcie będzie pracować z częstotliwością około 1GHz. Ronco oczekuje od czterech do ośmiu klastrów na układ. Przy ośmiu klastrach i 1GHz daje to do 64 teraFLOPS w BF16. Slajdy produktowe sugerują, że możliwych jest 512 klastrów. The Register wylicza, że dałoby to około 4 petaFLOPS mocy obliczeniowej macierzy w BF16. To więcej niż 2,5 petaFLOPS, które Nvidia podaje dla swoich najmocniejszych GPU Blackwell. Te liczby są teoretyczne. Rzeczywista wydajność zależy od taktowania, budżetu mocy i chłodzenia, procesu technologicznego oraz tego, co jeszcze dzieli układ. SiFive zapowiada też publikację otwartej implementacji referencyjnej swojej biblioteki SiFive Kernel Library, żeby obniżyć próg wejścia dla RISC-V.
Inferencja to najpierw problem pamięci, a dopiero potem matematyki
Producenci akceleratorów mniej teraz mówią o samej mocy obliczeniowej, a więcej o pamięci. To tam inferencja faktycznie zwalnia. d-Matrix wykorzystał swoją prezentację na Hot Chips 2026, żeby rozłożyć arytmetykę: wagi modeli wciąż rosną, a pamięć KV cache skaluje się wraz z długością kontekstu pomnożoną przez rozmiar batcha. ServeTheHome podaje przykład d-Matrix: 64 użytkowników przy kontekście 1 000 000 tokenów daje około 935GB pamięci KV cache. Problemem stają się i pojemność, i przepustowość, a oba parametry ciągle rosną.
SRAM spełnia wymóg przepustowości, ale prawie nic nie mieści. ServeTheHome podaje około 4GB dla pary kart Corsair przy mniej więcej 300 TB/s i opóźnieniu 1ns. Komórka SRAM 6T jest około 10 razy większa od komórki DRAM. HBM rozwiązuje pojemność, ale napotyka praktyczny sufit przepustowości w okolicach 20 TB/s dla pakietów HBM4, takich jak Vera Rubin od Nvidii i Instinct MI455 od AMD. Przepustowość HBM ma też koszt energetyczny. Przy 2,4 pJ/bit przetłoczenie 100 TB/s przez HBM zużywa około 1,92 kW, jeszcze przed ruchem w sieci połączeń.
Odpowiedzią d-Matrix jest układanie warstwy obliczeniowej bezpośrednio na układach DRAM. Firma twierdzi, że stos 1-Hi z logiką na wierzchu przy nie więcej niż 0,5 W/mm2 da się chłodzić cieczą i utrzymać DRAM poniżej 100C. Pionowe 3D IO kosztuje około 0,3 do 0,4 pJ, czyli mniej więcej 10 razy mniej niż HBM. Implementacja Raptor kładzie układ logiczny TSMC N4 na układzie 3D DRAM, łącząc je twarzą do twarzy z odstępem 36um. Skala 72 kart jest przewidziana na model frontier, taki jak Kimi K3 przy kontekście 1 000 000 tokenów. Wymaga to 32 000 000 000 bajtów na kartę przy wagach 4-bitowych i 8-bitowym KV cache. Szczegóły inżynieryjne mają znaczenie, bo pokazują, jak duża część projektu akceleratora dotyczy teraz przemieszczania danych, a nie jednostek mnożąco-akumulujących. Układ d-Matrix ma 840 banków, po odjęciu zapasowych 768, w 256 kanałach, co daje 3 banki na kanał. Dostarczenie flitu 128 000 000 000 bajtów z banków 32-bajtowych wymaga więc dwóch dostępów i pobiera 192 000 000 000 bajtów. To marnuje około 33 procent przepustowości w okolicach 33 TB/s. Blokowanie strumieni odzyskuje ją, dzieląc jeden częściowy dostęp 32-bajtowy między trzy flity.
Obudowa, nie tylko krzem
Jest jeszcze drugie ograniczenie, które nie ma nic wspólnego z projektem układu. Tom's Hardware doniósł w marcu 2026 roku, że Nittobo, japońska firma, kontroluje około 90 procent globalnych dostaw szkła T-glass. To tkanina z włókna szklanego o niskim CTE, używana w organicznym rdzeniu podłoży układów scalonych. Zawiera ją każda obudowa zaawansowanego układu AI. Popyt przewyższa podaż.
Liczby są bezlitosne. Nittobo potraja moce w zakładzie w Fukushimie, ale nowa podaż trafi na rynek dopiero w połowie 2027 roku. Ceny wzrosły o 20 do 30 procent. Czasy realizacji materiałów w dalszej części łańcucha, takich jak laminaty pokryte miedzią, wydłużyły się z normalnych 8 do 10 tygodni do ponad 20. Tom's Hardware cytuje dane Nvidii, z których wynika, że rozmiary interposerów wzrosły z 814mm2 dla Hoppera do 1 700mm2 dla Blackwella, czyli o 109 procent, a Rubin i Feynman mają rosnąć dalej.
"Przy jeszcze bardziej ograniczonych dostawach T-glass dostawcy nie podają już czasów realizacji" - powiedział Bill Ho, analityk w Yuanta.
Nittobo podwaja moce produkcyjne surowej przędzy w zakładzie na Tajwanie. Zawarła też umowę o współpracy z Nanya Plastics, żeby część tkania zlecić na zewnątrz. Według Tom's Hardware około 20 procent tkaniny szklanej Nittobo ma pochodzić z Nanya do 2027 roku. Bank of America szacuje, że segment materiałów elektronicznych Nittobo niemal podwoi sprzedaż z 40,9 mld jenów w 2025 roku do 87,7 mld jenów do marca 2028 roku. Marże operacyjne zbliżają się do 48 procent.
Kto faktycznie dostarcza układy
Kiedy trwają te spory, część startupów pokazuje krzem publiczności. Według ServeTheHome Rebellions zaprezentował swój akcelerator REBEL-Quad na Hot Chips 2025. Ma cztery ASIC obliczeniowe, cztery miejsca HBM3E na 144GB pamięci i powstał w technologii Samsung SF4X oraz CoWoS-S. Wykorzystuje UCIe-A jako połączenie między chipletami i podwójny interfejs PCIe Gen5 x16. Firma uruchomiła na żywo demo modelu Llama 3.3 70 000 000 000 parametrów na płytce deweloperskiej, ze średnim czasem 35,5 msec na token wyjściowy. ServeTheHome zauważył, że wiele firm akceleratorowych nigdy nie dochodzi do publicznego, działającego demo.
Po stronie klienta Draw Things poinformował, że Metal FlashAttention v2.5 z Neural Accelerators daje do 4,6 razy lepszą wydajność na M5 Apple'a niż na M4. Surowe przyspieszenie wyniosło od 3,6 do 5,5 razy, a całościowe zyski od 3,3 do 4,6 razy na iPadzie z M5. Oprogramowanie jest w wersji podglądowej: obsługę BF16 początkowo wyłączono z powodu nierozwiązanych błędów, a shadery specjalizują się dłużej. Pomiary wykonano z podkładką chłodzącą pod iPadem, żeby uzyskać maksymalne chłodzenie. To mówi tyle samo o zapasie termicznym, co o samym układzie.
Nic z tego nie rozstrzyga, która architektura wygra. Pokazuje jednak, że akcelerator do centrów danych nie jest już jedną kategorią produktu. To stos rdzeni CPU, silników macierzowych, technologii pamięci, materiałów do obudowy i bibliotek oprogramowania. Każdy element ma własne wąskie gardło i własne czasy realizacji.
Źródła
5- 01SiFive shifts from RISC-V cores for AI chips to designing its own acceleratorEN
- 02Shortages of crucial chip packaging material threatens AI accelerator supplyEN
- 03d-Matrix Raptor 3D-DRAM Accelerator for Generative Inference at Hot Chips 2026EN
- 04Rebellions REBEL-Quad UCIe and 144GB HBM3E Accelerator at Hot Chips 2025EN
- 05Metal FlashAttention v2.5 with Neural Accelerators on the Apple M5 ChipEN
Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.
Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.
Komentarze
0- Brak komentarzy — bądź pierwszy.