Przejdź do treści
Czas na świecieEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal o AI i technologiiwydarzenia · analizy · wywiady · tło techniczne

Szukaj
NA ŻYWO
›

Akceleratory AI: wąskie gardło w pakowaniu, o którym nikt nie mówi, i startupy grające przeciw HBM

Japońska firma, o której nie słyszało większość operatorów centrów danych, kontroluje około 90% światowych dostaw tkaniny szklanej używanej w każdym zaawansowanym pakiecie chipu AI. Jej nowa linia produkcyjna ruszy dopiero w połowie 2027 r.

TechnologiaAnalizaAnna KaczmarekOpublikowano: 27 września 20265 min czytaniaŹródła 5
Akceleratory AI: wąskie gardło w pakowaniu, o którym nikt nie mówi, i startupy grające przeciw HBM

T-glass od Nittobo to tkanina szklana o niskim CTE, używana w organicznym rdzeniu podłoży układów scalonych. To warstwa połączeń między chipem a jego płytką drukowaną. Według Tom's Hardware firma ma około 90% światowych dostaw. Popyt dawno ją przerósł. Czasy realizacji laminatów z miedzianą folią wydłużyły się z typowych 8 do 10 tygodni do ponad 20. Ceny wzrosły o 20 do 30%.

Ta liczba znaczy więcej, niż wygląda. Każda generacja akceleratora AI mieści większy interposer i bardziej złożone podłoże, więc każdy chip zużywa więcej materiału. Dane samej Nvidii, cytowane przez Tom's Hardware, podają rozmiary interposera: 814 mm² dla Hoppera i 1700 mm² dla Blackwella, o 109% więcej. Rubin i Feynman idą dalej. Podaż nie odpowie szybko. T-glass wymaga pieców do topienia elektrycznego pracujących w temperaturze od 1600 do 1700°C, a Nittobo potraja moce w zakładzie w Fukushimie. Nowa produkcja trafi na rynek dopiero w połowie 2027 r.

Analitycy cytowani w raporcie opisują rynek, na którym zastąpienie materiału jest trudne. „Nie jest łatwo zastąpić T-glass” powiedział Tom's Hardware Bilal Hachemi z Yole Group. Wskazał konkretne wartości przenikalności i CTE, które pasują do chipów AI, zwłaszcza w organicznym rdzeniu. Analityk Yuanta Bill Ho dodał, że dostawcy przestali w ogóle podawać terminy realizacji. Takashi Enomoto z Bank of America oczekuje, że sprzedaż materiałów elektronicznych Nittobo prawie się podwoi z 40,9 mld jenów (266 mln dol.) w 2025 r. do 87,7 mld jenów do marca 2028 r. Widzi marżę operacyjną blisko 48%.

Jeden szczegół zwraca uwagę. Hachemi powiedział, że bezpośrednie pójście Nvidii do dostawcy materiału na wcześniejszym etapie łańcucha było bez precedensu w tej części branży. Jeśli największy kupujący zablokuje moce pierwszy, reszta negocjuje już tylko o to, co zostanie.

Przepustowość pamięci to druga ściana

Gdy pakowanie się zaciska, projektanci akceleratorów spierają się o pamięć. Na Hot Chips 2026 d-Matrix pokazał Raptora, według ServeTheHome. Akcelerator układa układ logiczny TSMC N4 na kości 3D DRAM, łącząc je twarzą do twarzy w technologii 36 mikronów. Argument jest taki, że ani SRAM, ani HBM osobno nie wystarczą do wnioskowania. SRAM daje przepustowość, ale mało pojemności. HBM daje pojemność, ale rozbija się o prędkość pinów, liczbę stosów i miejsce na pakiecie. d-Matrix podaje praktyczny sufit około 20 TB/s dla pakietów HBM4.

Przepustowość ma rachunek za prąd. W tekście ServeTheHome HBM zużywa 2,4 pJ/bit, czyli 100 TB/s kosztuje około 1,92 kW, zanim dojdzie ruch w tkaninie. Pionowe 3D IO to około 0,3 do 0,4 pJ, mniej więcej dziesięć razy mniej. To ścieżka w skali milimetra, a nie centymetra jak w interposerze.

Liczby d-Matrix są konkretne i bez blasku. Każdy silnik tensorowy potrzebuje 128 000 000 000 B na dostęp. Ale banki po 32 B w 256 kanałach dają 3 banki na kanał po odjęciu zapasowych, co zwraca 96 000 000 000 B na dostęp. Dwa dostępy pobierają 192 000 000 000 B, żeby dostarczyć 128 000 000 000 B, marnując około 33% przepustowości przy 33 TB/s. Poprawka firmy, blokowanie strumieni, dzieli jeden częściowy dostęp między trzy flity. Wtedy 384 000 000 000 B na wejściu zgadza się z 384 000 000 000 B na wyjściu, a nadmiarowe pobieranie spada do zera. Przy 32 000 000 000 GB na kartę z wagami 4-bitowymi i 8-bitowym KV cache d-Matrix twierdzi, że 72 karty w skali mogą pomieścić model frontier przy kontekście 1 000 000 tokenów.

Chiplety i zwrot w licencjonowaniu RISC-V

Ograniczenia pakowania i kompromisy przy pamięci pchają producentów ku różnym strategiom integracji. Rebellions pokazał REBEL-Quad na Hot Chips 2025, według ServeTheHome. Karta ma cztery ASIC obliczeniowe, cztery miejsca HBM3E na 144 GB i UCIe-A jako łącze między układami, zbudowana na Samsungu SF4X i CoWoS-S. Działa przez dwa PCIe Gen5 x16. Firma pokazała Llama 3.3 70 000 000 000 na płytce deweloperskiej, średnio 35,5 ms na token wyjściowy.

ServeTheHome zauważył, że wybór PCIe kłóci się z przejściem Nvidii na Gen6. Za ważniejszy uznał sam pokaz: działający układ oparty na UCIe publicznie, co jest rzadkością wartą odnotowania. Po stronie obliczeń SiFive przeszło od licencjonowania rdzeni RISC-V do cudzych układów AI na sprzedaż własnego projektu akceleratora. The Register pisał 19 września 2024 r., że klastry Intelligence XM łączą cztery rdzenie Intelligence X z własnym silnikiem macierzowym. Każdy klaster ma do 1 TB/s przepustowości pamięci i do 16 TOPS w INT8 lub 8 teraFLOPS w BF16 na gigaherc.

John Ronco, wiceprezes i dyrektor generalny SiFive na Wielką Brytanię, powiedział The Register, że część klientów nadal chce własnego sprzętu, ale inni woleli wszystko z jednego źródła. Oczekiwał, że większość układów zbudowanych na tym projekcie użyje od czterech do ośmiu klastrów. Miał wątpliwości, jak daleko to się skaluje, choć slajdy firmy sugerują, że możliwe jest 512 klastrów. Dla porównania najlepsze układy Blackwella Nvidii mają 2,5 petaFLOPS w BF16.

SiFive dostarcza już projekty RISC-V używane w procesorach tensorowych Google'a i w Blackhole Tenstorrenta. Prezes Patrick Little twierdził w gotowym oświadczeniu, że firma obsługuje pięć z „Magnificent 7”. The Register zaznaczył, że to twierdzenie prawdopodobnie nie dotyczy wyłącznie AI.

Sankcje wciąż przerysowują mapę

Łańcuch dostaw zmieniają też kontrole eksportu. The Register podał 28 października 2024 r., że TSMC miało odciąć chińskiego projektanta Sophgo w związku z podejrzeniami, że próbował dostarczać komponenty Huaweiowi. Reuters, powołując się na dwie osoby znające sprawę, wskazał klienta, który zamówił chip przypominający Ascend 910 000 000 000 Huawei. Sophgo zaprzeczyło jakimkolwiek bezpośrednim lub pośrednim relacjom biznesowym z Huawei i podało, że przekazało TSMC szczegółowy raport z dochodzenia. Bitmain, powiązany z Sophgo, nazwał zarzuty fałszywymi i bezpodstawnymi.

The Register zauważył, że historia Bitmaina nie jest czysta. W 2021 r. prokuratorzy weszli do jego biur na Tajwanie i oskarżyli dwie spółki stowarzyszone o próbę nielegalnego rekrutowania tajwańskich inżynierów. TSMC przestało robić interesy z Huawei w 2020 r. na mocy amerykańskich przepisów.

Ascend 910 000 000 000 Huawei ma 320 teraFLOPS w FP16 lub 640 teraFLOPS w Int8, mniej więcej tyle co czteroletni A100 Nvidii, według tego raportu. To wolniej niż obecna czołówka, ale jest dostępny. Dostępność liczy się wtedy, gdy limity eksportowe wciąż się zaciskają.

Komentarze 0

Źródła

5
  1. 01Shortages of crucial chip packaging material threatens AI accelerator supply chainsEN
  2. 02d-Matrix Raptor 3D-DRAM Accelerator for Generative Inference at Hot Chips 2026EN
  3. 03Rebellions REBEL-Quad UCIe and 144GB HBM3E Accelerator at Hot Chips 2025EN
  4. 04SiFive expands from RISC-V cores for AI chips to designing its own full-fat acceleratorEN
  5. 05TSMC reportedly cuts off RISC-V chip designer linked to Huawei acceleratorsEN

Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.

Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.

Anna Kaczmarek

Anna Kaczmarek

AI, modele i technologie

Anna Kaczmarek pisze o technologiach, AI i modelach oraz mediach i internecie, opierając się na dokumentacji, repozytoriach i danych źródłowych, a nie na komunikatach prasowych. Przy testach modeli sprawdza karty techniczne, parametry wejściowe i liczy wyniki na tych samych zbiorach, zamiast powtarzać liczby od producentów. Czeka na premiery API i aktualizacje wag, rozmawia z inżynierami oraz porównuje wersje modeli pod kątem kosztów i opóźnień. Prywatnie self-hostuje usługi i konfiguruje sieci domowe, więc do redakcji wnosi praktykę z własnego serwera. Nie publikuje zapowiedzi ani parametrów, których nie może odtworzyć na własnym środowisku.

Redakcja →

Komentarze

0
  1. Brak komentarzy — bądź pierwszy.

Dodaj komentarz

Komentarze są widoczne publicznie. Nie publikujemy wulgaryzmów, spamu i treści reklamowych.