Aller au contenu
Heure mondialeEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portail sur l'IA et la technologieactualités · analyses · entretiens · fond technique

Rechercher
EN DIRECT
›

Poids ouverts, open source et un modèle qui a mémorisé Harry Potter

Un nouvel article sur arXiv rapporte que Llama 3.1 70B peut reproduire presque mot pour mot au moins un livre, ce qui relance le débat sur ce que « poids ouverts » divulgue vraiment.

IA & modèlesAnalyseSophie LeclercPublié le: 27 septembre 20265 min de lectureSources 3
Poids ouverts, open source et un modèle qui a mémorisé Harry Potter

Deux choses sont vraies en même temps au sujet des modèles de langage à poids ouverts, et l'industrie feint de l'ignorer depuis trois ans. Ils sont réellement utiles. Et ils ne sont pas open source.

La distinction n'est pas une querelle de vocabulaire. Elle détermine si quelqu'un en dehors du laboratoire qui publie le modèle peut auditer ce que le modèle a appris, reproduire la façon dont il l'a appris, ou vérifier les affirmations sur les biais et la sécurité. La vague actuelle de sorties « ouvertes », de la gamme Llama de Meta à Mixtral de Mistral, publie des poids et presque rien d'autre. Le code d'entraînement, les jeux de données et la méthodologie restent derrière le mur. Le texte de Prompt Engineering de décembre 2023 posait l'écart sans détour : les poids ouverts permettent d'utiliser un modèle mais pas une transparence complète, tandis que l'open source rend possible la compréhension et la personnalisation du modèle, au prix d'un travail de publication bien plus lourd.

Ce qu'est réellement un poids

Les poids sont la sortie numérique d'un entraînement. Ils ne sont pas lisibles par un humain, pas débogables, et ce ne sont pas des instructions. Le code source est tout cela à la fois. Selon Prompt Engineering, confondre les deux est une erreur courante aux conséquences réelles, parce qu'elle conduit à décrire une chaîne d'entraînement propriétaire comme open source simplement parce qu'un fichier de paramètres est téléchargeable.

Le coût pratique apparaît du côté de l'auditabilité. Si seuls les poids sont disponibles, les développeurs peuvent faire tourner des modèles de pointe mais ne peuvent pas évaluer sérieusement les biais, les limites et les impacts sociétaux, avance le même texte. Un décalage entre le modèle et les besoins réels devient difficile à repérer. Avec un accès complet au code source, des chercheurs de différentes organisations peuvent mener des audits rigoureux de l'équité, de la sécurité et de la robustesse. C'est le marché : de la commodité maintenant, aucune inspectabilité jamais.

Publier seulement les poids d'un modèle facilite largement le développement d'applications mais concentre le contrôle entre les mains d'un petit groupe d'organisations. Donner accès au code source répartit ce contrôle mais exige un engagement plus fort envers la transparence et la décentralisation.

Ce constat a bien vieilli, en partie parce que les preuves du problème d'inspectabilité continuent d'arriver.

Le problème de la mémorisation

Le 18 mai 2025, un groupe de chercheurs dont A. Feder Cooper, Mark A. Lemley et Percy Liang a soumis à arXiv un article mesurant dans quelle mesure on peut amener des modèles de langage à poids ouverts à reproduire du texte de livres protégés par le droit d'auteur. Ils ont appliqué leur technique d'extraction à 200 livres et 14 modèles à poids ouverts, en menant plus de 3000 expériences. La version six de l'article, révisée le 20 juillet 2026, est la version actuelle.

Le résultat principal va à l'encontre des deux camps du contentieux sur le droit d'auteur. La plupart des grands modèles de langage ne mémorisent pas la plupart des livres, en tout ou en partie, selon l'article. Mais il existe des exceptions notables. Llama 3.1 70B mémorise entièrement certains livres, dont Harry Potter and the Sorcerer's Stone. La mémorisation est assez étendue pour que le livre entier puisse être extrait presque mot pour mot, de façon déterministe, en utilisant ses premiers mots comme amorce.

Demandeurs et défendeurs dans les procès sur le droit d'auteur en IA générative, écrivent les auteurs, avancent des affirmations générales et opposées sur la mémorisation qui simplifient à l'extrême le rapport entre mémorisation et droit d'auteur. Leurs résultats, ajoutent-ils, ont des implications importantes pour les affaires de droit d'auteur, sans pour autant favoriser clairement l'un ou l'autre camp.

Il faut voir ce que l'expérience exigeait. Elle avait besoin de poids téléchargeables et interrogeables. Un modèle restreint aurait rendu le même test impossible pour des chercheurs extérieurs. Les poids ouverts, autrement dit, ont rendu possible cette découverte, même si poids ouverts ne veut pas dire open source.

Un petit contre-exemple

Toutes les sorties à poids ouverts ne sont pas des modèles de pointe. Superwhisper a publié s1-mini, un normalisateur de texte de 0,6 milliard de paramètres pour les sorties de reconnaissance vocale, sous licence Apache 2.0 assortie d'une clause de nommage. Il prend une transcription brute d'ASR et la réécrit en texte écrit propre : hésitations supprimées, faux départs résolus, ponctuation et majuscules appliquées, nombres et dates prononcés rendus sous forme écrite. Sur un ensemble de validation de 7519 cas en anglais, il atteint 94,8 % de précision par token, et la version quantifiée est un fichier de 462 MiB qui tourne sur le processeur d'un ordinateur portable.

Les notes de version sont d'une franchise inhabituelle sur une bizarrerie de documentation. La barre latérale de Hugging Face indique 0,8 milliard de paramètres, mais la fiche du modèle donne le chiffre réel de 596,0 millions de paramètres uniques, parce que l'embedding de 155,6 millions de paramètres est stocké deux fois : 751,6 millions d'éléments de tenseur contre 596,0 millions uniques. L'architecture est héritée de Qwen/Qwen3-0.6B, qui affiche 0,8 milliard sur le Hub pour la même raison.

Ce genre de divulgation est tout l'argument en faveur de la publication des poids avec leur documentation. Et ce n'est précisément pas du code source. La fiche du modèle indique le modèle de base, la précision, la forme d'entrée attendue et la licence. Elle ne donne ni les données d'entraînement ni la recette complète.

Pourquoi les étiquettes comptent moins que l'accès

Prompt Engineering proposait de scinder le vocabulaire : utiliser « Open Weights » pour les licences portant sur les poids de réseaux de neurones, et « Ethical Weights » pour une catégorie distincte de licences conçues spécifiquement pour les poids. La suggestion n'a pas été largement adoptée, et le marketing n'a pas ralenti.

  • Poids ouverts : paramètres publiés, code et données d'entraînement retenus, usage et affinage autorisés.
  • Open source : code de l'architecture, méthodologie d'entraînement, hyperparamètres, jeu de données d'origine et documentation publiés.
  • Poids restreints : paramètres disponibles uniquement sous des limitations juridiques ou éthiques importantes.

La distinction a un effet de second ordre qui apparaît rarement dans les annonces. L'open source renforce le progrès décentralisé, selon la formule de Prompt Engineering, parce que des chercheurs du monde entier peuvent proposer des améliorations et des directions de développement alternatives, au lieu de laisser le progrès bridé par le petit nombre d'entreprises capables d'entraîner d'énormes modèles propriétaires. Les poids ouverts concentrent cette capacité tout en distribuant les artefacts.

Tout cela ne signifie pas que les sorties à poids ouverts sont sans valeur. L'étude sur la mémorisation existe parce qu'elles en ont. Mais un checkpoint téléchargeable est une licence d'usage d'un modèle, pas une licence pour le comprendre, et c'est dans l'écart entre les deux que se joue en réalité l'essentiel du débat actuel sur l'ouverture en IA.

Commentaires 0

Sources

3
  1. 01Openness in Language Models: Open Source vs Open Weights vs Restricted WeightsEN
  2. 02Extracting memorized pieces of (copyrighted) books from open-weight language modelsEN
  3. 03S1-mini, Superwhisper's first open-weights language modelEN

Tous les chiffres et citations de ce texte proviennent des sources citées ci-dessous.

Les contenus ont été préparés par l'équipe de rédaction, assistée par l'IA.

Sophie Leclerc

Sophie Leclerc

IA, modèles et technologies

Sophie Leclerc couvre les technologies, l'IA et les modèles ainsi que les médias et l'internet pour FLASH24, en travaillant à partir des dépôts de code, des articles scientifiques et des documents techniques plutôt que des annonces. Elle vérifie chaque chiffre en remontant aux jeux de données d'origine et en comparant les versions successives des modèles. Elle interroge régulièrement des ingénieurs et des chercheurs, et suit les calendriers de publication des principales conférences du secteur. Son intérêt personnel pour l'auto-hébergement et les réseaux domestiques nourrit directement sa couverture des infrastructures et des modèles ouverts. Elle ne publie pas de performance annoncée sans méthode de mesure vérifiable.

Rédaction →

Commentaires

0
  1. Aucun commentaire — soyez le premier.

Écrire un commentaire

Les commentaires sont publics. Nous ne publions ni insultes, ni spam, ni publicité.