Inférence : un moteur chinois fait bondir le débit de DeepSeek V4.1 Flash de 6,87 fois sur GPU PCIe

Le débat sur les puces d'IA se déplace. La question n'est plus seulement de savoir qui peut acheter le matériel le plus performant, mais qui sait exploiter au mieux le matériel déjà là. C'est la thèse de la société chinoise METASTONE, rapportée par 量子位 (QbitAI), à travers son moteur d'inférence Meta-Infer.

La faille entre le framework et le matériel

Beaucoup de cartes graphiques savent charger un modèle, télécharger les poids et lancer un service. Elles fonctionnent. Mais leurs performances réelles en test de charge restent souvent très inférieures aux niveaux annoncés. Le modèle n'a pas de défaut et le matériel n'est pas en panne. La perte vient de l'écart entre le framework et le matériel. Ces cartes n'ont pas d'interconnexion haut débit entre elles et ne figurent pas dans les matrices de validation officielles des frameworks ouverts. Résultat : des opérateurs retombent silencieusement sur des implémentations génériques peu efficaces, les paramètres de communication restent calibrés pour d'autres architectures, et la configuration mémoire ou de parallélisme reprend des valeurs par défaut prévues pour un autre matériel.

Six virgule huit sept fois plus de débit

Meta-Infer s'attaque à ce problème par le logiciel seul, sans modifier la structure du modèle ni la sémantique des tâches. L'approche se décline en quatre volets : complétion des kernels, optimisation des opérateurs et refonte de la communication, réglage du parallélisme et de la capacité mémoire, enfin réutilisation du cache.

Le premier volet corrige des métadonnées et des tailles de page qui empêchent l'exécution des opérateurs optimisés natifs, remplace des kernels anciens inadaptés et élargit le seuil des chemins de communication rapides. Sur un environnement de huit cartes PCIe, avec la version communautaire de référence pour DeepSeek-V4.1-Flash, le débit d'entrée n'était que de 1 932 jetons par seconde. Après cette phase de correction, il monte à 5 850 jetons par seconde.

Le second volet s'attaque aux goulots d'étranglement. Sur une architecture PCIe, la bande passante entre cartes est bien inférieure à celle d'une interconnexion dédiée, et appliquer les stratégies par défaut fait passer le temps en attentes de communication. En fusionnant les opérateurs, en recouvrant le calcul par la communication et en réécrivant la logique de communication collective, le moteur atteint 13 274 jetons par seconde, soit un facteur de 6,87, avec un support de contexte très long.

La méthodologie se veut générique. Sur un autre modèle, le débit d'entrée passe de 14 546 à 22 584 jetons par seconde. Dès la seule phase de co-adaptation, plusieurs modèles gagnent entre 20 % et 33 % de débit.

Un opérateur tiers

METASTONE se présente comme un opérateur de calcul de bout en bout indépendant, non lié à un fournisseur de modèles. La société indique gérer plus de 20 000 petaflops de ressources, exploiter une dizaine de centres de calcul intelligents et deux centres nationaux de supercalcul, avec un engagement de disponibilité supérieur à 99,95 %. Son équipe revendique trois prix Gordon Bell.

Quand le matériel est contraint, l'optimisation logicielle devient le principal levier de performance.