Microsoft achève le pré-entraînement de MAI-Base-2, un modèle de 2 800 milliards de paramètres

Ce que Microsoft a construit

Microsoft a entraîné MAI-Base-2 sur 16 000 GPU Nvidia GB200 pendant 38 jours, en août et septembre. Le calcul a traité 50 000 000 000 000 tokens de texte et de données visuelles. Le modèle compte 2 800 000 000 000 paramètres au total mais en active 80 000 000 000 pour chaque entrée. Cette architecture à mélange d'experts lui permet de garder un grand modèle sans faire tourner tous les paramètres à chaque opération.

Microsoft a élargi ses données d'entraînement uniques d'environ 36 % par rapport à MAI-Base-1, présenté plus tôt cette année. Les images représentaient 18 % du nouveau mélange d'entraînement. Microsoft parle d'un entraînement visuel natif pour l'interprétation de graphiques, l'analyse de documents et le raisonnement spatial. L'entreprise affirme que le modèle a appris à partir de données d'entraînement organiques, sans distiller les connaissances d'autres modèles d'IA.

Les gains d'efficacité et leurs limites

Microsoft estime que sa méthode d'entraînement est 4,2 à 12,3 fois plus efficace en calcul que DeepSeek-V4-Pro-Base pour une performance équivalente sur certains tests. L'entreprise indique que MAI-Base-2 a surpassé les modèles à poids ouverts inclus dans ses évaluations internes. TechRepublic note que ces chiffres estiment le calcul nécessaire pour atteindre une performance comparable. Ils ne montrent pas que MAI-Base-2 est universellement supérieur.

Les comparaisons reposent sur des évaluations tenues à l'écart que Microsoft a choisies, et l'entreprise n'a pas publié de comparaisons équivalentes avec tous les principaux modèles propriétaires. Business Insider rapporte que Mustafa Suleyman, responsable de l'IA chez Microsoft, a déclaré aux employés que l'entreprise avait comparé MAI-Base-2 à huis clos avec les modèles d'OpenAI. Microsoft n'a pas rendu publics ces résultats pour une évaluation indépendante.

Une licence, pas une publication ouverte

Microsoft prévoit de concéder les poids de MAI-Base-2 sous licence à des partenaires de confiance via Microsoft Foundry plutôt que de les publier ouvertement. Microsoft n'a annoncé ni tarif ni disponibilité générale. TechRepublic note que les conditions d'accès et les coûts de personnalisation détermineront si les entreprises préfèrent l'offre de Microsoft à des alternatives réellement à poids ouverts.

Le modèle est encore en post-entraînement. Le rapport ajoute que les entreprises ne doivent pas s'attendre à un accès immédiat à MAI-Base-2 via Copilot ou d'autres services Microsoft. Microsoft indique que les préparatifs de MAI-Base-3 sont déjà en cours.

TechRepublic rapporte que les capacités de texte et de vision du modèle pourraient à terme servir des applications d'entreprise impliquant des documents, des tableurs et des graphiques. Microsoft n'a toutefois pas montré comment ces capacités se traduiront en produits commerciaux.

Pourquoi Microsoft développe ses propres modèles

Microsoft a investi environ 13 000 000 000 de dollars dans OpenAI et continue d'utiliser les modèles d'OpenAI pour les tâches les plus exigeantes, rapporte eWeek. L'entreprise a aussi commencé à utiliser ses propres modèles MAI dans certains produits pour réduire les coûts. Selon Bloomberg, Mustafa Suleyman a déclaré que les modèles MAI sont déployés dans plus de la moitié des produits Microsoft et que l'objectif est de réduire, puis de supprimer, ce que Microsoft paie à Anthropic.

Microsoft a modifié son accord avec OpenAI en avril, mettant fin à l'accès exclusif à la propriété intellectuelle d'OpenAI et supprimant ses paiements à OpenAI, tandis qu'OpenAI continuait de payer Microsoft avec un plafond, rapporte Yahoo Finance. Microsoft fournit toujours l'infrastructure de calcul des modèles d'OpenAI, selon eWeek.