Aller au contenu
Heure mondialeEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portail sur l'IA et la technologieactualités · analyses · entretiens · fond technique

Rechercher
EN DIRECT
›

Mémorisation : la plupart des LLM ne reproduisent pas la plupart des livres

Un article accepté à COLM 2026 rapporte que, sur 200 livres et 14 modèles de langage à poids ouverts, la plupart des modèles ne mémorisent pas la plupart des livres. Llama 3.1 70B fait exception : il peut en reproduire au moins un en entier.

IA & modèlesActualitéCamille RousseauPublié le: 27 septembre 20268 min de lectureSources 3
Mémorisation : la plupart des LLM ne reproduisent pas la plupart des livres

La plupart des grands modèles de langage ne mémorisent pas la plupart des livres sur lesquels ils ont été entraînés, selon un article accepté à COLM 2026. L'étude a mené plus de 3 000 expériences d'extraction sur 200 livres et 14 modèles à poids ouverts. Elle contredit les affirmations générales que les deux camps avancent dans les procès sur le droit d'auteur liés à l'IA générative.

L'article s'intitule « Extracting memorized pieces of (copyrighted) books from open-weight language models ». Il a été publié pour la première fois sur arXiv en mai 2025 et révisé jusqu'en juillet 2026. Parmi ses auteurs figurent A. Feder Cooper, Mark A. Lemley, Allison Casasola, Ahmed Ahmed, Aaron Gokaslan, Amy B. Cyphert, Christopher De Sa, Daniel E. Ho et Percy Liang. Le résumé indique clairement que les positions polarisées des demandeurs et des défendeurs « simplifient à l'excès le rapport entre mémorisation et droit d'auteur ».

Ce que la méthode d'extraction a réellement trouvé

Le résultat principal est négatif, et il est plus étroit qu'il n'y paraît. Avec la méthodologie d'extraction propre aux auteurs, la plupart des LLM ne mémorisent pas la plupart des livres, ni en entier ni en partie. Cette précision compte. La conclusion porte sur ce que cette technique particulière a pu extraire. Elle ne prouve pas de façon générale que les données d'entraînement ne laissent aucune trace.

Les exceptions mettent les développeurs de modèles mal à l'aise. Llama 3.1 70B mémorise entièrement certains livres, écrivent les auteurs, en citant Harry Potter à l'école des sorciers. La mémorisation est assez poussée pour que tout le livre puisse être extrait presque mot pour mot, de manière déterministe, en utilisant les premiers mots du livre comme amorce. Aucune astuce d'échantillonnage, aucun contournement des garde-fous, juste la phrase d'ouverture.

La mémorisation variait à la fois selon le modèle et selon le livre parmi les 14 systèmes à poids ouverts testés. Le résumé ne nomme pas les autres modèles et ne donne pas de détail livre par livre. La question pratique de savoir quels titres sont les plus exposés en dehors de l'exemple Harry Potter reste ouverte dans le résumé publié.

Les auteurs restent prudents sur la portée de leurs résultats devant les tribunaux. Ils concluent que ces constats ont des implications importantes pour les affaires de droit d'auteur, « mais pas de celles qui favorisent clairement l'un ou l'autre camp ». Cette phrase est la vraie contribution de l'article au débat, et les deux parties de juristes la citeront probablement hors contexte.

L'argument sur les licences qui accompagne la recherche

Pendant que les chercheurs mesurent ce que les modèles retiennent, une autre bataille se joue sur le sens du mot « ouvert » accolé à ces modèles. The Register a publié le 15 septembre une chronique de Steven J. Vaughan-Nichols soutenant que l'industrie qualifie régulièrement de « modèles open source » des publications qui ne sont que des poids ouverts.

Cette distinction, telle que la chronique la pose, détermine si l'on peut seulement déployer un réseau de neurones fini ou si l'on peut inspecter, reproduire, modifier et redistribuer le système qui l'a produit. Les poids sont les paramètres numériques appris lors de l'entraînement. Avec l'architecture et le code d'inférence, ils font tourner un modèle. Ils ne disent pas ce qui est entré dedans.

L'Open Source Initiative trace la limite directement. Sa position, citée dans la chronique, est que les poids ouverts désignent les poids et biais finaux d'un réseau de neurones entraîné, et que leur publication n'expose qu'« une fraction de l'information nécessaire à une redevabilité complète ».

« Les poids ouverts sont un progrès. Vous pouvez télécharger le modèle, l'exécuter sur votre propre machine, le garder hors du pipeline de données de quelqu'un d'autre. Mais vous ne voyez toujours pas comment la chose a été construite, sur quoi elle a été entraînée, ni pourquoi elle se comporte comme elle le fait. Ce n'est pas un modèle ouvert. C'est une distribution ouverte. »

C'est James Landay, directeur du Stanford Institute for Human-Centered AI, qui parle à The Register. Il ajoute qu'il existe « un large écart entre l'IA à poids ouverts et l'IA open source », et soutient que sans données d'entraînement divulguées ni compte rendu documenté et auditable de celles-ci, des tiers ne peuvent tester ni reproduire le travail au sens plein.

Sans les données d'entraînement, note la chronique, des tiers ne peuvent déterminer quelles sources ont été utilisées, quel matériel protégé par le droit d'auteur ou privé a pu être inclus, comment les données ont été sélectionnées ou retirées, quelles langues et quelles communautés étaient sous-représentées, si des données de benchmark ont fuité dans l'entraînement, ou quelles méthodes d'alignement ont façonné le modèle après le pré-entraînement. Cette liste correspond exactement à l'ensemble des questions auxquelles l'article sur la mémorisation tente de répondre empiriquement, de l'extérieur, par l'extraction plutôt que par la divulgation.

La définition de l'IA open source de l'OSI, l'OSAID 1.0, publiée en octobre 2024, exige que les paramètres du modèle, dont les poids, soient disponibles sous des conditions approuvées par l'OSI, mais ne prescrit pas de mécanisme juridique précis. Elle a suscité des critiques de personnalités comme Bruce Perens, auteur de la définition originale de l'open source, qui a déclaré : « Ce n'est pas de l'open source ! ... Il est regrettable que l'Open Source Initiative elle-même participe maintenant à de l'openwashing. » Bradley Kuhn de la Software Freedom Conservancy et Richard Fontana de Red Hat ont demandé l'abrogation de l'OSAID, soutenant que l'OSI « a agi trop vite en imposant à la communauté un compromis politique trop ambitieux ».

Une initiative concurrente, la licence Open Model, Data, and Weights de la Linux Foundation, ou OpenMDW, a été soumise à l'OSI. Elle existe depuis 2025, compte des contributeurs d'Amazon, Meta, IBM, Microsoft et Nvidia, et définit des conditions distinctes pour l'architecture d'un modèle, ses données d'entraînement et ses poids. The Register rapporte que cette soumission a rencontré des objections sur la liste de diffusion de l'OSI consacrée à la revue des licences. Stefano Maffulli, ancien directeur exécutif de l'OSI, dit avoir de plus en plus l'impression que cette revue est « entachée d'un biais idéologique ».

Moins cher, plus proche, et toujours pas reproductible

Mozilla a publié le 15 septembre la version 1.1 de son rapport State of Open Source AI, avec des données arrêtées au 1er septembre. Tom's Hardware en a rendu compte le lendemain. Le rapport place le meilleur modèle ouvert à trois points du leader fermé sur l'Artificial Analysis Intelligence Index, à 60 % du prix, et à deux points derrière Claude Fable 5, à 30 %. L'ajustement de Mozilla sur les données d'horizon de tâches de METR situe l'écart ouvert-fermé à environ 4,4 mois, en ligne avec l'estimation de quatre mois d'Epoch AI.

La méthodologie mérite un examen. METR note les modèles selon la longueur de tâche, en temps de travail humain, qu'ils accomplissent la moitié du temps. Selon l'estimation ajustée de Mozilla, les modèles fermés traitent des tâches qui prennent de 8 à 12 heures à des experts humains ; les modèles ouverts y parviennent environ quatre mois plus tard, la capacité ouverte doublant tous les 3,9 mois contre 5,5 pour les fermés. Le rapport s'appuie sur une enquête Mozilla/SlashData auprès d'environ 1 400 développeurs, sur les données de trafic d'OpenRouter et sur des indices de benchmark de tiers. Mozilla défend les modèles ouverts, et TIME a rapporté le 14 juillet que Raffi Krikorian, directeur technique de Mozilla, présentait ce rapport comme en partie militant.

Sur Terminal-Bench 2.1 de vals.ai, qui fait passer chaque modèle par le même banc d'essai, GLM-5.2 de Z.ai a obtenu un score à un point de Claude Opus 4.7 et à environ quatre points derrière Opus 4.8, pour moins d'un cinquième du coût par test. Sur OpenRouter, Mozilla a compté huit des dix modèles les plus utilisés en volume de tokens en août comme à poids ouverts, dont sept construits en Chine. Les fournisseurs fermés ont néanmoins capté 96 % des revenus de la couche modèle sur OpenRouter de mai à septembre 2025, selon la Linux Foundation. « Nous considérons la décision de payer pour des [modèles] fermés comme propre à chaque charge de travail plutôt qu'à chaque organisation », a déclaré Krikorian à Ars Technica dans un courriel.

Le rapport recense 16 publications notables de modèles ouverts, et Tom's Hardware note qu'aucune ne fournit la recette des données exigée par la définition de l'OSI. L'écart de quatre mois et le chiffre de 30 % sur le prix des tokens sont mesurés d'API à API sur des points d'accès hébergés et au prix catalogue. Le propre graphique matériel du rapport place le meilleur modèle ouvert tenant sur un seul serveur à 52,6 et le meilleur sur un seul GPU à 40, soit des baisses de 10 et 23 points par rapport au sommet : un écart plus large que ne le suggèrent quatre mois. Le checkpoint natif MXFP4 de Kimi K3 fait environ 1,56 To répartis sur 96 fragments, la configuration de service de Mozilla listant 64 accélérateurs ou plus, et vLLM exigeant au moins huit GPU GB300 avec plusieurs nœuds pour le trafic de production. Le rapport décrit ce modèle comme ouvert mais non exécutable par la plupart de ceux qui le détiennent. Inkling-Small de Thinking Machines, sous Apache 2.0, fait exception, avec une version NVFP4 qui tient sur un seul B300 à partir de 180 Go.

Les données s'arrêtent au 1er septembre, et les benchmarks ont bougé depuis. Artificial Analysis en est à l'indice v4.3 avec un ensemble d'évaluation différent, et son tableau en direct place Claude Fable 5.1 à 53 sur son réglage d'effort le plus élevé, avec Kimi K3 à 44, des chiffres non comparables aux valeurs v4.1.1 que Mozilla a représentées. La légende du graphique de Mozilla indique elle-même : « l'écart se réinitialise à chaque cycle de publication ».

Un autre élément du rapport est présenté comme une allégation et non comme un constat. Un avis conjoint de la NSA, de la CISA et du FBI daté du 8 septembre (AA26-251A) affirme que Moonshot a extrait des données de Claude Fable 5 pour entraîner K3 par distillation, pratique qui consiste à entraîner un modèle sur les sorties d'un autre. Le rapport de Mozilla qualifie cette affirmation d'« alléguée, et non démontrée ».

Croisez les deux fils et le tableau devient gênant pour qui veut une réponse nette. Un modèle peut être téléchargeable, bon marché, à quelques mois de la frontière, et rester opaque sur ses données d'entraînement. Et quand les chercheurs cherchent ce qu'il a retenu, comme l'article de COLM l'a fait avec 200 livres et plus de 3 000 expériences, ils constatent que la réponse dépend du modèle et du livre considérés. Le résumé que Landay fait de l'écart, cité par The Register : « Les poids ouverts répondent à “Puis-je exécuter ceci ?” L'open source répond à “Puis-je faire confiance à ceci, l'améliorer et construire la suite par-dessus ?” »

Commentaires 0

Sources

3
  1. 01Extracting memorized pieces of books from open-weight language modelsEN
  2. 02Open weights are not open source: Why AI's favorite label is under disputeEN
  3. 03China's open-weight AI models are now just 4 months behind frontier US offerings, Mozilla report claimsEN

Tous les chiffres et citations de ce texte proviennent des sources citées ci-dessous.

Les contenus ont été préparés par l'équipe de rédaction, assistée par l'IA.

Camille Rousseau

Camille Rousseau

IA, modèles et technologies

Camille Rousseau suit les technologies, l’IA et les modèles ainsi que les médias et l’internet pour FLASH24, en partant des dépôts de modèles, des publications techniques et des données publiques, sans reprendre les annonces sans vérification. Elle contrôle les chiffres d’entraînement et de coût en remontant aux jeux de données, aux versions de modèles et aux méthodes de mesure. Elle interroge des chercheurs et des équipes produit, compare les résultats entre modèles et attend les mises à jour de calendrier des principaux fournisseurs. Son intérêt pour l’impression 3D, les vieux ordinateurs et la façon dont les modèles apprennent rejoint directement son travail sur l’IA et les technologies. Elle ne publie pas de chiffres sans source ni de comparaison sans protocole reproductible.

Rédaction →

Commentaires

0
  1. Aucun commentaire — soyez le premier.

Écrire un commentaire

Les commentaires sont publics. Nous ne publions ni insultes, ni spam, ni publicité.