Les poids ouverts comblent l'écart, mais l'écart se réinitialise à chaque cycle de publication
Le rapport State of Open Source AI de Mozilla, publié le 15 septembre avec des données arrêtées au 1er septembre, situe les modèles chinois à poids ouverts environ 4,4 mois derrière les offres américaines de pointe. Le propre graphique matériel du rapport montre un écart plus large que ce chiffre, et sa légende reconnaît que la distance se réinitialise à chaque publication.

Le rapport est la version 1.1 d'une évaluation récurrente que Mozilla a publiée pour la première fois sur son blog le 14 juillet. Selon Tom's Hardware, elle repose sur une enquête de Mozilla et SlashData auprès d'environ 1 400 développeurs, sur les données de trafic d'OpenRouter et sur des indices de référence tiers. Mozilla est une association à but non lucratif qui défend les modèles ouverts. TIME rapportait le 14 juillet que le directeur technique de Mozilla, Raffi Krikorian, présentait le rapport comme en partie militant. Ce cadrage compte à la lecture des chiffres.
L'affirmation centrale de Mozilla est que le meilleur modèle ouvert accusait un retard de trois points sur le leader fermé à l'Artificial Analysis Intelligence Index, pour 60 % du prix, et se tenait deux points derrière Claude Fable 5 pour 30 % du prix. En ajustant les données METR sur l'horizon des tâches, Mozilla évalue l'écart entre ouverts et fermés à environ 4,4 mois, en ligne avec l'estimation de quatre mois d'Epoch AI. METR est une association de recherche qui note les modèles selon la durée des tâches, en temps de travail humain, qu'ils accomplissent une fois sur deux.
Ce que mesurent réellement les quatre mois
Selon l'estimation ajustée de Mozilla, les modèles fermés traitent des tâches qui prennent de 8 à 12 heures à des experts humains. Les modèles ouverts atteignent ce niveau environ quatre mois plus tard. Mozilla calcule que les capacités ouvertes doublent tous les 3,9 mois, contre 5,5 mois pour les modèles fermés. Sur Terminal-Bench 2.1 de vals.ai, qui fait passer chaque modèle par le même banc d'essai, GLM-5.2 de Z.ai a obtenu un score à un point de Claude Opus 4.7 et à environ quatre points derrière Opus 4.8, pour moins d'un cinquième du coût par test.
« Nous voyons la décision de payer pour des [modèles] fermés comme liée à la charge de travail plutôt qu'à l'organisation », a déclaré Krikorian à Ars Technica dans un courriel.
L'adoption côté développeurs ne ressemble pas aux revenus. Sur OpenRouter, une place de marché qui achemine le trafic vers des centaines de modèles, Mozilla a compté huit des dix premiers modèles par volume de tokens en août comme des poids ouverts, dont sept construits en Chine. Les fournisseurs fermés ont néanmoins capté 96 % des revenus de la couche modèle sur OpenRouter de mai à septembre 2025, selon la Linux Foundation. Des tokens gratuits ou bon marché et des revenus payants ne font pas le même marché.
Mozilla recense 16 publications notables de modèles ouverts, mais aucune ne livre la recette des données qu'exige la définition de l'Open Source Initiative. Cette distinction est tout l'argument d'un billet de l'OSI du 19 septembre intitulé « Open Weights Are Good. Open Source Is Better. » Les poids ouverts, écrit l'OSI, permettent de faire tourner un modèle en local, de payer un tiers pour l'héberger ou de l'affiner sur ses propres données. Ils ne permettent pas de l'étudier entièrement, car le code et les données d'entraînement, ou un compte rendu détaillé de leur construction, ne font pas partie de la publication.
La réserve matérielle
Le chiffre de 4,4 mois et le prix de 30 % par token sont mesurés d'API à API sur des points de terminaison hébergés, au prix catalogue. Le propre graphique matériel de Mozilla raconte une histoire plus dure. Le meilleur modèle ouvert qui tient sur un seul serveur obtient 52,6 ; le meilleur qui tient sur un seul GPU obtient 40. La chute depuis le sommet est de 10 et 23 points respectivement, un écart plus large que ne le suggèrent quatre mois.
Le point de contrôle MXFP4 natif de Kimi K3 pèse environ 1,56 To réparti sur 96 fragments, selon le rapport. La configuration de service de Mozilla liste 64 accélérateurs ou plus, tandis que vLLM en réclame au moins huit GPU GB300, avec plusieurs nœuds pour le trafic de production. Tom's Hardware estimait le besoin de mémoire à près de 1,5 To en juillet. Le rapport décrit un modèle ouvert mais non exécutable par la plupart de ceux qui le détiennent. Une exception qu'il cite est Inkling-Small de Thinking Machines, sous Apache 2.0, dont la version NVFP4 tient sur un seul B300 avec un plancher de 180 Go.
Il y a aussi un problème de calendrier. Les données du rapport s'arrêtent au 1er septembre. Depuis, Artificial Analysis est passé à la version 4.3 de son indice, avec un jeu d'évaluation différent. Le tableau en ligne place Claude Fable 5.1 à 53 sur son réglage d'effort le plus élevé, avec Kimi K3 à 44, des chiffres que Mozilla n'a pas tracés et qui ne sont pas comparables aux valeurs v4.1.1 qu'il a utilisées. Le tableau Terminal-Bench 2.1 de vals.ai, mis à jour le 11 septembre, est désormais mené par GPT-6 Astra à 87,27 %, avec Fable 5.1 à 85,02 %. La légende du propre graphique de Mozilla dit : « l'écart se réinitialise à chaque cycle de publication. »
K3 fait aussi l'objet d'une allégation détaillée dans l'avis conjoint AA26-251A de la NSA, de la CISA et du FBI du 8 septembre. L'affirmation, que le rapport de Mozilla présente comme « asserted, and unshown », est que Moonshot a extrait des données de Claude Fable 5 pour entraîner K3 par distillation, la pratique consistant à entraîner un modèle sur les sorties d'un autre. Le 17 juillet, Artificial Analysis plaçait K3 à 57 contre 60 pour Fable 5 ; le 1er septembre, Mozilla le situait à deux points.
Petits modèles, tâches étroites
Toutes les publications à poids ouverts ne courent pas après la frontière. S1-mini de Superwhisper, publié sur Hugging Face, est un normaliseur de texte de 0,6 milliard de paramètres pour la sortie de reconnaissance vocale. Il prend une transcription ASR brute et la réécrit en texte écrit : mots de remplissage supprimés, faux départs et autocorrections résolus, ponctuation et majuscules appliquées, nombres, dates, heures, montants et adresses électroniques transcrits en forme écrite. Sur un ensemble tenu à l'écart de 7 519 cas en anglais, il atteint 94,8 % de précision par token, et la version quantifiée est un fichier de 462 MiB qui tourne sur le processeur d'un ordinateur portable.
La fiche du modèle est d'une franchise inhabituelle sur ce qu'il n'est pas. S1-mini n'est pas un modèle de conversation et ne suivra pas d'instructions générales. Il est affiné à partir de Qwen/Qwen3-0.6B et attend une ligne de contrôle en tête de l'entrée, précisant le style, la structure et le contexte. Omettez le prompt système, changez sa formulation ou envoyez des valeurs hors des ensembles d'entraînement, prévient la fiche, et le modèle peut halluciner ou produire une sortie brouillée. Il est uniquement en anglais, sous licence Apache 2.0 assortie d'une clause de nommage. La barre latérale du Hub indique 0,8 milliard de paramètres, mais la fiche explique que model.safetensors stocke lm_head.weight comme une copie matérialisée de l'embedding d'entrée, comptant deux fois l'embedding de 155,6 millions de paramètres : 751,6 millions d'éléments de tenseur contre 596,0 millions de paramètres uniques. La disposition est héritée de Qwen3-0.6B, qui indique 0,8 milliard pour la même raison.
Un schéma semblable apparaît dans un compte rendu de déploiement de James Cruce daté du 22 septembre. Il a choisi Laya, un modèle de décision à poids ouverts de 421 millions de paramètres, plutôt que Jev hébergé de TypeSafe pour les petits choix bornés que font ses agents de codage. Le point de contrôle, convaiinnovations/laya-typed-decisions, a un encodeur ModernBERT-large et une limite de 1 024 tokens, et renvoie des réponses typées : un choix parmi des options nommées, un score sur une échelle ordonnée ou une probabilité pour un énoncé par oui ou non. Aucun paragraphe à analyser. Jev, à l'inverse, est un service hébergé en accès anticipé facturé 0,042 dollar par million de tokens d'entrée sans frais de tokens de sortie, et TypeSafe dit qu'il gère des choix allant jusqu'à 255 options.
La raison avancée par Cruce pour ce changement n'était pas le coût. Il voulait que les décisions de routine tournent sur son Mac Studio avec des données locales qui restent locales, et il voulait la maîtrise du modèle exact, des options autorisées et du comportement en cas d'échec. Il n'a pas calculé de seuil de rentabilité et dit n'avoir aucun chiffre d'économies à donner. Il signale aussi des limites : l'éditeur a entraîné Laya sur quatre flux de travail synthétiques, et le routage de modèles n'en fait pas partie, si bien que le résultat est un déploiement sur un M3 Ultra avec 256 Go de mémoire unifiée, et non un verdict général de Laya contre Jev. La fiche du modèle avertit que le modèle est trop confiant et exige un calibrage propre au domaine. « Une réponse typée peut être structurellement parfaite et factuellement fausse », écrit-il.
Le paysage juridique autour des poids n'est pas plus stable. Un article d'A. Feder Cooper, Mark A. Lemley et de coauteurs, soumis pour la première fois le 18 mai 2025 et révisé jusqu'au 20 juillet 2026, a mesuré la mémorisation sur 200 livres et 14 modèles à poids ouverts dans plus de 3 000 expériences. Son résultat contredit les deux camps des batailles sur le droit d'auteur. La plupart des modèles ne mémorisent pas la plupart des livres, en tout ou en partie. Mais Llama 3.1 70B en mémorise entièrement certains, dont Harry Potter and the Sorcerer's Stone, au point que le livre entier peut être extrait presque mot pour mot à partir des premiers mots donnés comme prompt. Les auteurs écrivent que leurs résultats ont des implications importantes pour les affaires de droit d'auteur, sans toutefois favoriser clairement un camp.
Rien de tout cela ne tranche la question de savoir si les poids ouverts l'emportent. Les indicateurs les plus favorables à l'ouverture, le prix par token et la part du trafic routé, côtoient des indicateurs moins bons, la capacité sur un seul serveur et un seul GPU et la part des revenus. La légende de Mozilla est le résumé honnête : l'écart se réinitialise à chaque cycle de publication.
Sources
5- 01China's open-weight AI models are now just 4 months behind frontier US offerings, Mozilla report claimsEN
- 02Open Weights Are Good. Open Source Is Better.EN
- 03S1-mini, Superwhisper's first open-weights language modelEN
- 04Does an open-weight decision model beat a hosted one? Jev vs. LayaEN
- 05Extracting memorized pieces of (copyrighted) books from open-weight language modelsEN
Tous les chiffres et citations de ce texte proviennent des sources citées ci-dessous.
Les contenus ont été préparés par l'équipe de rédaction, assistée par l'IA.
Commentaires
0- Aucun commentaire — soyez le premier.