Les poids ouverts rattrapent les modèles de pointe, mais l'étiquette porte trop de poids
Le rapport State of Open Source AI de Mozilla, publié le 15 septembre avec des données arrêtées au 1er septembre, situe les meilleurs modèles à poids ouverts environ 4,4 mois derrière les offres fermées de pointe. Un billet distinct de l'OSI soutient que cet écart n'est pas la bonne chose à mesurer.

Mozilla a publié la version 1.1 de son rapport State of Open Source AI le 15 septembre, avec des données arrêtées au 1er septembre. Tom's Hardware rapportait le 16 septembre que le meilleur modèle ouvert accusait trois points de retard sur le leader fermé à l'Artificial Analysis Intelligence Index, pour 60 % du prix, et se tenait deux points derrière Claude Fable 5 à 30 %. L'ajustement de Mozilla sur les données de METR concernant l'horizon des tâches place l'écart entre ouverts et fermés à environ 4,4 mois. Cela rejoint l'estimation de quatre mois d'Epoch AI.
La méthodologie compte, car le chiffre de tête circule plus loin que ses réserves.
METR note les modèles selon la longueur de tâche, mesurée en temps de travail humain, qu'ils accomplissent une fois sur deux. Selon l'estimation ajustée de Mozilla, les modèles fermés traitent des tâches qui prennent 8 à 12 heures à des experts humains. Les modèles ouverts y parviennent environ quatre mois plus tard, la capacité ouverte doublant tous les 3,9 mois contre 5,5 pour les fermés, d'après les calculs de Mozilla. Le rapport a aussi retracé les résultats de Terminal-Bench 2.1 de vals.ai, qui fait passer chaque modèle par le même harnais, la couche logicielle qui fournit ses outils à un modèle.
Sur ce tableau, GLM-5.2 de Z.ai a marqué à un point de Claude Opus 4.7 et environ quatre points derrière Opus 4.8, pour moins d'un cinquième du coût par test. Sur OpenRouter, une place de marché qui aiguille le trafic des développeurs vers des centaines de modèles, Mozilla a compté huit des dix modèles les plus utilisés en volume de tokens en août comme à poids ouverts, dont sept construits en Chine.
Puis l'argent.
Les fournisseurs fermés ont capté 96 % des revenus de la couche modèle sur OpenRouter de mai à septembre 2025, selon la Linux Foundation. « Nous voyons la décision de payer pour des [modèles] fermés comme propre à une charge de travail plutôt qu'à une organisation », a déclaré Raffi Krikorian, directeur technique de Mozilla, à Ars Technica dans un courriel, cité dans l'article de Tom's Hardware.
Ce que le chiffre de quatre mois laisse de côté
Deux réserves figurent dans le rapport lui-même. L'écart de quatre mois et le chiffre de 30 % pour le prix des tokens sont mesurés d'API à API sur des points de terminaison hébergés, au prix catalogue. Et le propre graphique matériel du rapport place le meilleur modèle ouvert tenant sur un serveur à 52,6 sur l'indice et le meilleur sur un seul GPU à 40, soit des chutes de 10 et 23 points par rapport au sommet. C'est un écart plus large que quatre mois.
Les contraintes de service sont la version pratique du même problème. Le point de contrôle natif MXFP4 de Kimi K3 pèse environ 1,56 To répartis sur 96 fragments, et la configuration de service de Mozilla liste 64 accélérateurs ou plus, tandis que vLLM exige au moins huit GPU GB300, avec plusieurs nœuds pour le trafic de production. Le rapport décrit cela comme ouvert mais non exécutable par la plupart de ceux qui le détiennent. Tom's Hardware estimait le besoin de mémoire à près de 1,5 To en juillet. Une exception que le rapport nomme est Inkling-Small de Thinking Machines, sous licence Apache 2.0, dont la version NVFP4 tient sur un seul B300 avec un plancher de 180 Go.
Les données du rapport s'arrêtent au 1er septembre, et les tableaux ont bougé depuis.
Artificial Analysis est passé à la version 4.3 de son indice avec un ensemble d'évaluations différent ; le tableau en ligne place Claude Fable 5.1 à 53 sur son réglage d'effort le plus élevé, avec Kimi K3 à 44, des chiffres non comparables aux valeurs v4.1.1 que Mozilla a tracées. Le tableau Terminal-Bench 2.1 de vals.ai, mis à jour le 11 septembre, est désormais mené par GPT-6 Astra à 87,27 % avec Fable 5.1 à 85,02 %. La légende du graphique de Mozilla dit : « l'écart se réinitialise à chaque cycle de version ». K3 fait aussi l'objet d'une allégation détaillée dans l'avis conjoint NSA/CISA/FBI du 8 septembre (AA26-251A). L'affirmation, que le rapport de Mozilla présente comme « asserted, and unshown », est que Moonshot a extrait des données de Claude Fable 5 pour entraîner K3 par distillation, la pratique qui consiste à entraîner un modèle sur les sorties d'un autre.
La bataille de vocabulaire sous la bataille des benchmarks
L'Open Source Initiative a profité du même cycle d'actualité pour débattre du vocabulaire. Dans un billet du 19 septembre, l'OSI écrit que les poids ouverts permettent d'exercer certaines des quatre libertés logicielles, celles d'utiliser, d'étudier, de modifier et de partager sans demander au titulaire des droits, mais pas toutes, et seulement dans une certaine mesure.
Le cadrage de l'OSI : un modèle d'IA a trois composantes principales, les données d'entraînement, les poids et paramètres, et le code de préparation des données et d'entraînement. Les publications à poids ouverts livrent les poids, ce qui permet de faire tourner un modèle en local, de payer un tiers pour l'héberger ou de l'affiner sur ses propres données. Elles ne livrent pas les autres composantes. Sans le code et les données d'entraînement, ou un compte rendu de la façon dont les données ont été construites, on ne peut pas inspecter pleinement un modèle pour répondre à la question de savoir pourquoi il a produit une sortie ou si cette sortie est fiable, soutient l'OSI. Le billet cite Olmo d'Ai2 comme exemple d'un grand modèle de langage dont l'ensemble complet des données d'entraînement et les points de contrôle permettent aux chercheurs d'étudier comment un modèle mémorise ou oublie des informations injectées.
La distinction n'est pas théorique pour quiconque lit les chiffres de Mozilla comme un guide d'achat. Le rapport de Mozilla recense 16 publications notables ouvertes, mais note qu'aucune ne fournit la recette des données exigée par la définition de l'Open Source Initiative. Mozilla défend aussi les modèles ouverts : TIME rapportait le 14 juillet que Krikorian présentait le rapport comme en partie militant. Le rapport s'appuie sur une enquête Mozilla/SlashData auprès d'environ 1 400 développeurs, sur les données de trafic d'OpenRouter et sur des indices de benchmarks tiers.
Aucun de ces documents ne tranche la question de savoir si des poids moins chers et légèrement en retard suffisent pour les charges de travail que les gens font réellement tourner. La répartition des revenus dit que la plupart des acheteurs paient encore pour du fermé. La répartition des volumes de tokens dit que la majorité du trafic est déjà ouverte. Les deux peuvent être vrais en même temps, et le chiffre de quatre mois ne tranche pas entre eux.
Sources
2- 01China's open-weight AI models are now just 4 months behind frontier US offerings, Mozilla report claimsEN
- 02Open Weights Are Good. Open Source Is Better.EN
Tous les chiffres et citations de ce texte proviennent des sources citées ci-dessous.
Les contenus ont été préparés par l'équipe de rédaction, assistée par l'IA.
Commentaires
0- Aucun commentaire — soyez le premier.