Aller au contenu
Heure mondialeEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portail sur l'IA et la technologieactualités · analyses · entretiens · fond technique

Rechercher
EN DIRECT
›

Qu'est-ce qu'un accélérateur d'IA ? Dans les puces qui font tourner l'inférence des datacenters

Les accélérateurs d'IA sont les puces spécialisées installées à côté des processeurs classiques dans les baies des datacenters. Ce sont elles qui font les multiplications de matrices derrière les chatbots et les générateurs d'images. La façon dont elles sont fabriquées, et par qui, est plus intéressante que les sigles ne le laissent croire.

TechnologieExpliquéCamille RousseauPublié le: 27 septembre 20266 min de lectureSources 5
Qu'est-ce qu'un accélérateur d'IA ? Dans les puces qui font tourner l'inférence des datacenters

Chaque grand modèle de langage que vous avez utilisé a presque sûrement tourné sur une puce qui n'est pas un CPU. C'est un accélérateur : du silicium conçu pour faire un seul type d'arithmétique, la multiplication de matrices, très vite. Le reste de la machine existe pour l'alimenter. Cette division du travail explique l'essentiel de l'agitation récente sur le marché des datacenters. Elle explique aussi pourquoi des entreprises qui vendaient des cœurs de CPU, de la mémoire ou du packaging se disputent aujourd'hui sur les teraFLOPS, la bande passante mémoire et le nombre de banques qui tiennent sur une puce DRAM.

Le bloc de base, et pourquoi SiFive en vend un désormais

SiFive a passé des années à licencier des cœurs de CPU RISC-V que d'autres entreprises greffaient sur leurs propres moteurs d'IA. Selon The Register, au moins une partie des tensor processing units de Google utilisent les cœurs X280 de SiFive pour piloter les accélérateurs d'apprentissage automatique et alimenter leurs unités de multiplication de matrices. Les conceptions de SiFive servent aussi de base aux cœurs de CPU de l'accélérateur Blackhole de Tenstorrent, a déclaré John Ronco, SVP et GM de SiFive UK, à la publication.

En septembre 2024, l'entreprise a changé de position. Elle a annoncé la série Intelligence XM, un cluster d'accélérateurs d'IA licenciable, et plus seulement la partie CPU. Le cluster de base contient quatre cœurs de CPU RISC-V Intelligence X reliés à un moteur de calcul matriciel maison. Chaque cluster supporte jusqu'à 1 To/s de bande passante mémoire et doit délivrer jusqu'à 16 TOPS en INT8 ou 8 teraFLOPS en BF16 par gigahertz, selon l'article de The Register.

« Pour certains clients, il reste justifié de faire leur propre matériel », a dit Ronco. « Mais d'autres voulaient une offre tout-en-un de la part de SiFive. »

Ce chiffre par gigahertz paraît étrange au premier abord. C'est un bloc de construction, pas une puce. The Register note que SiFive s'attend à ce que la plupart des puces issues de cette conception tournent autour de 1 GHz, et que Ronco prévoit quatre à huit clusters par puce. À huit clusters et 1 GHz, cela fait jusqu'à 64 teraFLOPS en BF16. La présentation produit évoque 512 clusters possibles, ce qui, selon le calcul de The Register, atteindrait environ quatre pétaFLOPS de calcul matriciel BF16, au-dessus des 2,5 pétaFLOPS que Nvidia annonce pour ses GPU Blackwell les mieux dotés. Ces chiffres sont théoriques. La performance réelle dépend de la fréquence, du budget de puissance et de refroidissement, du nœud de gravure et de ce qui partage la puce. SiFive indique aussi qu'elle publiera une implémentation de référence open source de sa SiFive Kernel Library pour abaisser la barrière d'adoption de RISC-V.

L'inférence est un problème de mémoire avant d'être un problème de calcul

Les fabricants d'accélérateurs parlent moins de calcul brut et davantage de mémoire, parce que c'est là que l'inférence ralentit réellement. d-Matrix a profité de sa présentation à Hot Chips 2026 pour poser l'arithmétique : les poids des modèles ne cessent de grossir, et le cache KV croît avec la longueur de contexte multipliée par la taille du batch. ServeTheHome rapporte l'exemple de d-Matrix : 64 utilisateurs à 1 000 000 de tokens de contexte produisent environ 935 Go de cache KV. La capacité et la bande passante deviennent toutes deux des problèmes, et toutes deux continuent de croître.

La SRAM atteint la cible de bande passante mais ne retient presque rien, environ 4 Go pour une paire de cartes Corsair à quelque 300 To/s et 1 ns de latence, selon ServeTheHome. Une cellule SRAM 6T est environ 10 fois plus grande qu'une cellule DRAM. La HBM résout la capacité mais bute sur un plafond pratique de bande passante autour de 20 To/s pour les packages HBM4 comme Vera Rubin de Nvidia et Instinct MI455 d'AMD, et cette bande passante a un coût en puissance : à 2,4 pJ/bit, faire passer 100 To/s dans de la HBM consomme environ 1,92 kW avant même le trafic de fabric.

La réponse de d-Matrix est d'empiler le calcul directement sur les puces DRAM. L'entreprise affirme qu'un empilement 1-Hi avec la logique au-dessus, à pas plus de 0,5 W/mm2, peut être refroidi par liquide en gardant la DRAM sous 100 °C. L'IO vertical 3D tombe autour de 0,3 à 0,4 pJ, soit environ 10 fois moins que la HBM. Son implémentation Raptor place une puce logique TSMC N4 sur une puce DRAM 3D avec un empilement face à face de 36 um, et une montée en échelle de 72 cartes est dimensionnée pour héberger un modèle de frontière comme Kimi K3 à 1 000 000 de tokens de contexte, avec 32 000 000 000 d'octets par carte en poids 4 bits et un cache KV 8 bits. Ce détail d'ingénierie compte parce qu'il montre à quel point la conception d'un accélérateur porte désormais sur le déplacement des données plutôt que sur les unités multiply-accumulate. La puce de d-Matrix compte 840 banques, 768 après redondance, réparties sur 256 canaux, soit 3 banques par canal. Livrer un flit de 128 000 000 000 bits depuis des banques de 32 000 000 000 bits demande donc deux accès et va chercher 192 000 000 000 bits, ce qui gaspille environ 33 pour cent de la bande passante près de 33 To/s. Le stream blocking le récupère en partageant un accès partiel de 32 000 000 000 bits entre trois flits.

Le packaging, pas seulement le silicium

Il existe une seconde contrainte qui n'a rien à voir avec la conception des puces. Tom's Hardware rapportait en mars 2026 que Nittobo, une entreprise japonaise, contrôle environ 90 pour cent de l'offre mondiale de T-glass, un tissu de fibre de verre à faible CTE utilisé dans le cœur organique des substrats de circuits intégrés. Chaque package de puce d'IA avancée en contient. La demande dépasse l'offre.

Les chiffres sont brutaux. Nittobo triple la capacité de son usine de Fukushima, mais la nouvelle offre n'arrivera pas sur le marché avant mi-2027. Les prix ont augmenté de 20 à 30 pour cent, et les délais des matériaux en aval, comme les laminés cuivrés, sont passés d'un délai normal de 8 à 10 semaines à plus de 20. Selon des données de Nvidia citées par Tom's Hardware, la taille des interposeurs est passée de 814 mm2 pour Hopper à 1 700 mm2 pour Blackwell, soit une hausse de 109 pour cent, Rubin et Feynman montant encore d'un cran.

« Avec une offre de T-glass encore plus contrainte, les fournisseurs ne donnent même plus de délais », a dit Bill Ho, analyste chez Yuanta.

Nittobo double la capacité de fil brut de son usine taïwanaise et a conclu un accord de collaboration avec Nanya Plastics pour externaliser une partie du tissage. D'ici 2027, environ 20 pour cent du tissu de verre de Nittobo devrait être tissé par Nanya, selon Tom's Hardware. Bank of America estime que le segment des matériaux électroniques de Nittobo doublera presque ses ventes, de 40 900 000 000 yens en 2025 à 87 700 000 000 yens d'ici mars 2028, avec des marges opérationnelles proches de 48 pour cent.

Qui livre vraiment

Pendant que tout cela se discute, certaines startups mettent du silicium devant un public. Rebellions a montré son accélérateur REBEL-Quad en fonctionnement à Hot Chips 2025, selon ServeTheHome : quatre ASIC de calcul, quatre sites HBM3E pour 144 Go de mémoire, construits sur Samsung SF4X et CoWoS-S, avec UCIe-A comme interconnexion de chiplets et une double interface PCIe Gen5 x16. L'entreprise a fait tourner une démo live de Llama 3.3 70 000 000 000 sur une carte de développement à 35,5 ms en moyenne par token de sortie. ServeTheHome note que beaucoup d'entreprises d'accélérateurs n'arrivent jamais à une démo publique qui tourne.

Côté client, Draw Things rapporte que Metal FlashAttention v2.5 avec Neural Accelerators offre jusqu'à 4,6 fois de meilleures performances sur la M5 d'Apple que sur la M4, avec des gains bruts de 3,6 à 5,5 fois et des gains de bout en bout de 3,3 à 4,6 fois sur un iPad M5. Le logiciel est en aperçu : le support BF16 a d'abord été désactivé à cause de bugs non résolus, et les shaders mettent plus longtemps à se spécialiser. Les mesures ont été prises avec une plaque réfrigérante sous l'iPad pour un refroidissement maximal, ce qui en dit autant sur la marge thermique que sur la puce.

Rien de tout cela ne tranche quelle architecture l'emporte. Mais cela montre que l'accélérateur de datacenter n'est plus une catégorie de produit unique. C'est un empilement de cœurs de CPU, de moteurs matriciels, de technologies mémoire, de matériaux de packaging et de bibliothèques logicielles, chacun avec son propre goulot d'étranglement et ses propres délais.

Commentaires 0

Sources

5
  1. 01SiFive shifts from RISC-V cores for AI chips to designing its own acceleratorEN
  2. 02Shortages of crucial chip packaging material threatens AI accelerator supplyEN
  3. 03d-Matrix Raptor 3D-DRAM Accelerator for Generative Inference at Hot Chips 2026EN
  4. 04Rebellions REBEL-Quad UCIe and 144GB HBM3E Accelerator at Hot Chips 2025EN
  5. 05Metal FlashAttention v2.5 with Neural Accelerators on the Apple M5 ChipEN

Tous les chiffres et citations de ce texte proviennent des sources citées ci-dessous.

Les contenus ont été préparés par l'équipe de rédaction, assistée par l'IA.

Camille Rousseau

Camille Rousseau

IA, modèles et technologies

Camille Rousseau suit les technologies, l’IA et les modèles ainsi que les médias et l’internet pour FLASH24, en partant des dépôts de modèles, des publications techniques et des données publiques, sans reprendre les annonces sans vérification. Elle contrôle les chiffres d’entraînement et de coût en remontant aux jeux de données, aux versions de modèles et aux méthodes de mesure. Elle interroge des chercheurs et des équipes produit, compare les résultats entre modèles et attend les mises à jour de calendrier des principaux fournisseurs. Son intérêt pour l’impression 3D, les vieux ordinateurs et la façon dont les modèles apprennent rejoint directement son travail sur l’IA et les technologies. Elle ne publie pas de chiffres sans source ni de comparaison sans protocole reproductible.

Rédaction →

Commentaires

0
  1. Aucun commentaire — soyez le premier.

Écrire un commentaire

Les commentaires sont publics. Nous ne publions ni insultes, ni spam, ni publicité.