Mistral publie les poids ouverts de ML4, un modèle à 1 000 000 000 000 de paramètres

Ce que Mistral a mis en ligne

Les poids sont les paramètres qu'un modèle apprend pendant l'entraînement. Les publier permet aux utilisateurs d'exécuter et d'adapter ML4 eux-mêmes, rapporte heise online. Mistral présente ML4 comme son plus grand modèle et le plus avancé, destiné à combler l'écart avec les leaders des poids ouverts : Qwen d'Alibaba, Gemma de Google et Kimi de Moonshot AI. Le modèle compte 1 000 000 000 000 de paramètres, dont 49 000 000 000 sont actifs pour chaque token. Dans un entretien podcast, Pierre Stock, vice-président chargé de la science chez Mistral, explique que le modèle dirige chaque token vers différents sous-réseaux, ou experts, ce qui rend l'entraînement coûteux mais l'exécution efficace.

En interne, Mistral appelle le modèle Le Chonk, indique Stock, parce qu'il est grand.

Les chiffres publiés par Mistral

Mistral a publié lui-même les résultats des benchmarks. ML4 obtient 48 % sur l'Artificial Analysis Coding Agent Index, soit pratiquement le niveau de GLM-5.3 de Z.ai, et 79 % sur CyberGym-E2E, au niveau de MiMo-V2.6-Pro de Xiaomi. Heise online note que ces chiffres étayent en partie l'affirmation de Stock selon laquelle ML4 est le meilleur modèle à poids ouverts pour le codage et la cybersécurité.

Stock présente la cybersécurité comme un pari assumé du laboratoire. Lors des tests agentiques, où les modèles planifient et exécutent eux-mêmes des tâches, ML4 a résolu un peu moins de 60 % des tâches, contre environ 6 % pour son prédécesseur, dit-il. Il prévient qu'aucun benchmark n'est à l'abri d'un contournement et que les modèles devraient être supervisés par un autre modèle compétent.

Dix mégawatts et dix mois d'écart

ML4 a été entraîné dans les centres de données de Mistral en France, avec 10 MW de puissance, ce que Stock juge ridiculement peu face à ce que font tourner les concurrents. Il indique que dix mois séparent ML4 du modèle Mistral précédent et attribue cet écart à la construction de ces centres de données et au passage à l'apprentissage par renforcement.

La version finale consomme 50 % de tokens en moins à niveau d'intelligence égal, selon Stock. Entre la préversion du 6 octobre et la sortie des poids ouverts, ML4 s'est nettement amélioré, dit-il. Quantifié en FP4, il tourne sur quatre GPU GB300, ce qu'il qualifie encore de beaucoup, mais de budget que des universités et des laboratoires de recherche peuvent assumer. Stock ajoute que ML4 est trois fois plus petit que Kimi K3.

Pourquoi des poids ouverts

Stock estime que l'avantage pour les entreprises est que personne ne peut leur couper l'accès. Les poids ouverts protègent la continuité d'activité, dit-il, en citant un cas où l'accès est soudainement bloqué pendant une attaque. Mistral installe le modèle sur les GPU de ses clients et ne voit ensuite ni le modèle ni les données, ce qui, reconnaît-il, complique le débogage.

Stock annonce que Mistral prépare une famille de modèles : elle commence par le grand modèle, puis le distille en modèles plus petits, en envoyant les tâches simples et récurrentes aux petits modèles et les tâches difficiles aux grands.