Zum Inhalt
WeltzeitEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal über KI und Technologieereignisse · analysen · interviews · technischer hintergrund

Suche
LIVE
›

Studie zur Memorierung: Die meisten LLMs geben die meisten Bücher nicht wieder

Ein Papier für die COLM 2026 berichtet, dass die meisten Modelle von 14 Open-Weight-Sprachmodellen und 200 Büchern die meisten Bücher nicht auswendig gelernt haben. Llama 3.1 70B kann mindestens eines vollständig wiedergeben.

KI & ModelleNachrichtKatrin HoffmannVeröffentlicht: 27. September 20268 Min. LesezeitQuellen 3
Studie zur Memorierung: Die meisten LLMs geben die meisten Bücher nicht wieder

Die meisten großen Sprachmodelle haben die meisten Bücher, mit denen sie trainiert wurden, nicht auswendig gelernt. Das berichtet ein Papier, das zur COLM 2026 angenommen wurde. Die Aussage stammt aus einer Studie mit mehr als 3.000 Extraktionsexperimenten an 200 Büchern und 14 Open-Weight-Modellen. Sie widerspricht den pauschalen Behauptungen, die beide Seiten in Urheberrechtsverfahren zur generativen KI aufgestellt haben.

Die Arbeit heißt "Extracting memorized pieces of (copyrighted) books from open-weight language models", wurde im Mai 2025 erstmals auf arXiv veröffentlicht und bis Juli 2026 überarbeitet. Zu den Autoren zählen A. Feder Cooper, Mark A. Lemley, Allison Casasola, Ahmed Ahmed, Aaron Gokaslan, Amy B. Cyphert, Christopher De Sa, Daniel E. Ho und Percy Liang. Das Abstract stellt schlicht fest, die polarisierten Positionen von Klägern und Beklagten würden "dramatically oversimplify the relationship between memorization and copyright".

Was die Extraktionsmethode tatsächlich fand

Das Hauptergebnis ist negativ, und es ist enger, als es klingt. Bezogen auf die spezielle Extraktionsmethodik der Autoren haben die meisten LLMs die meisten Bücher nicht auswendig gelernt, weder ganz noch teilweise. Diese Einschränkung zählt. Die Feststellung bezieht sich darauf, was diese eine Technik zutage fördern konnte. Sie ist kein allgemeiner Beweis dafür, dass Trainingsdaten keine Spuren hinterlassen.

Die Ausnahmen sind der Punkt, an dem das Papier für Modellentwickler unangenehm wird. Llama 3.1 70B lernt einige Bücher vollständig auswendig, schreiben die Autoren und nennen dabei Harry Potter und der Stein der Weisen. Die Memorierung reicht so weit, dass sich das ganze Buch fast wortgleich und deterministisch extrahieren lässt, wenn man die ersten paar Wörter des Buches als Prompt vorgibt. Keine Sampling-Tricks, kein Jailbreak, nur die Anfangswendung.

Die Memorierung unterschied sich je nach Modell und je nach Buch über die 14 getesteten Open-Weight-Systeme hinweg. Das Abstract nennt die übrigen Modelle nicht und liefert keine Aufschlüsselung pro Buch. Welche Titel außerhalb des Harry-Potter-Beispiels am stärksten betroffen sind, bleibt in der veröffentlichten Zusammenfassung offen.

Die Autoren sind vorsichtig damit, was ihre Ergebnisse für Gerichte bedeuten. Sie schließen, die Befunde hätten erhebliche Folgen für Urheberrechtsfälle, "though not ones that unambiguously favor either side". Dieser Satz ist der eigentliche Beitrag des Papiers zur Debatte, und beide Anwaltslager dürften ihn aus dem Zusammenhang gerissen zitieren.

Die Lizenzdebatte neben der Forschung

Während die Forscher messen, was Modelle behalten, läuft ein zweiter Streit darüber, was das Wort "offen" bedeutet, wenn es an Modelle geklebt wird. The Register veröffentlichte am 15. September eine Kolumne von Steven J. Vaughan-Nichols, die argumentiert, die Branche bezeichne Veröffentlichungen routinemäßig als "Open-Source-Modelle", obwohl sie nur Open-Weight seien.

Der Unterschied entscheidet, so rahmt es die Kolumne, ob man ein fertiges neuronales Netz nur einsetzen darf oder ob man das System, das es erzeugt hat, einsehen, reproduzieren, verändern und weitergeben kann. Gewichte sind die gelernten numerischen Parameter, die beim Training entstehen. Zusammen mit der Architektur und dem Inferenzcode bringen sie ein Modell zum Laufen. Sie verraten nicht, was hineingegangen ist.

Die Open Source Initiative zieht die Grenze direkt. Ihre im Beitrag zitierte Position lautet, offene Gewichte bezeichneten die endgültigen Gewichte und Biases eines trainierten neuronalen Netzes, und deren Veröffentlichung lege nur "a fraction of the information required for full accountability" offen.

"Open weights are progress. You can download the model, run it on your own machine, keep it out of someone else's data pipeline. But you still can't see how the thing was built, what it was trained on, or why it behaves the way it does. That's not an open model. That's open distribution."

Das sagt James Landay, Direktor des Stanford Institute for Human-Centered AI, gegenüber The Register. Er ergänzte, es gebe "a wide gap between open-weight AI and open source AI", und argumentierte, ohne offengelegte Trainingsdaten oder eine dokumentierte, prüfbare Darstellung davon könnten Außenstehende die Arbeit nicht im vollen Sinn testen oder reproduzieren.

Ohne die Trainingsdaten, so die Kolumne, können Außenstehende nicht feststellen, welche Quellen verwendet wurden, welches urheberrechtlich geschützte oder private Material enthalten gewesen sein könnte, wie Daten ausgewählt oder entfernt wurden, welche Sprachen und Gemeinschaften unterrepräsentiert waren, ob Benchmark-Daten ins Training gelangt sind oder welche Alignment-Methoden das Modell nach dem Pretraining geformt haben. Diese Liste ist genau der Satz von Fragen, den das Memorierungs-Papier empirisch von außen zu beantworten versucht, mit Extraktion statt mit Offenlegung.

Die eigene Open Source AI Definition der OSI, OSAID 1.0, im Oktober 2024 veröffentlicht, verlangt, dass Modellparameter einschließlich der Gewichte unter OSI-anerkannten Bedingungen verfügbar sind, schreibt aber keinen bestimmten rechtlichen Mechanismus vor. Sie hat Kritik von Personen wie Bruce Perens ausgelöst, dem Autor der ursprünglichen Open Source Definition, der erklärte: "It's not Open Source! ... It's unfortunate that the Open Source Initiative itself is now involved in Openwashing." Bradley Kuhn von der Software Freedom Conservancy und Richard Fontana von Red Hat forderten, die OSAID zurückzunehmen, und argumentierten, die OSI habe "acted too quickly to impose an overly ambitious policy compromise on the community".

Ein konkurrierender Vorstoß, die Open Model, Data, and Weights licence der Linux Foundation, kurz OpenMDW, wurde bei der OSI eingereicht. Sie existiert seit 2025, nennt Mitwirkende von Amazon, Meta, IBM, Microsoft und Nvidia und definiert getrennte Bedingungen für Architektur, Trainingsdaten und Gewichte eines Modells. The Register berichtet, die Einreichung sei auf der Lizenzprüfungs-Mailingliste der OSI auf Einwände gestoßen. Stefano Maffulli, ehemaliger Executive Director der OSI, sagte, er habe weiterhin den Eindruck, die Prüfung sei "tainted by an ideological bias".

Billiger, näher dran und trotzdem nicht reproduzierbar

Mozilla veröffentlichte am 15. September Version 1.1 seines Berichts State of Open Source AI, mit Datenstand 1. September. Tom's Hardware griff ihn am folgenden Tag auf. Der Bericht setzt das beste offene Modell auf dem Artificial Analysis Intelligence Index drei Punkte hinter den geschlossenen Spitzenreiter, bei 60% des Preises, und zwei Punkte hinter Claude Fable 5 bei 30%. Mozillas Anpassung an die METR-Daten zum Aufgabenhorizont ergibt eine Lücke zwischen offen und geschlossen von etwa 4,4 Monaten, im Einklang mit der Schätzung von Epoch AI von vier Monaten.

Die Methodik verdient Prüfung. METR bewertet Modelle nach der Länge der Aufgabe in menschlicher Arbeitszeit, die sie in der Hälfte der Fälle lösen. Nach Mozillas angepasster Schätzung bewältigen geschlossene Modelle Aufgaben, für die menschliche Experten 8 bis 12 Stunden brauchen; offene Modelle erreichen das etwa vier Monate später, wobei sich die offene Fähigkeit alle 3,9 Monate verdoppelt, gegenüber 5,5 bei geschlossenen. Der Bericht stützt sich auf eine Umfrage von Mozilla und SlashData unter rund 1.400 Entwicklern, auf Verkehrsdaten von OpenRouter und auf Benchmark-Indizes Dritter. Mozilla setzt sich für offene Modelle ein, und TIME berichtete am 14. Juli, Mozillas Technologiechef Raffi Krikorian habe den Bericht teils als Advocacy bezeichnet.

Auf Terminal-Bench 2.1 von vals.ai, das jedes Modell durch denselben Prüfaufbau schickt, lag Z.ai's GLM-5.2 innerhalb eines Punkts von Claude Opus 4.7 und etwa vier Punkte hinter Opus 4.8, bei weniger als einem Fünftel der Kosten pro Test. Auf OpenRouter zählte Mozilla acht der zehn nach Token-Volumen im August führenden Modelle als Open Weight, sieben davon chinesisch gebaut. Geschlossene Anbieter nahmen laut der Linux Foundation dennoch 96% der Einnahmen auf Modellebene über OpenRouter zwischen Mai und September 2025 ein. "We see the decision to pay for closed [models] as workload-specific rather than organization-specific", sagte Krikorian per E-Mail zu Ars Technica.

Der Bericht zählt 16 bemerkenswerte offene Veröffentlichungen, und Tom's Hardware merkt an, keine davon liefere das Datenrezept, das die OSI-Definition verlangt. Die Vier-Monats-Lücke und die 30%-Token-Preisangabe sind API gegen API auf gehosteten Endpunkten und zu Listenpreisen gemessen. Die eigene Hardware-Grafik des Berichts setzt das beste offene Modell, das auf einen Server passt, bei 52,6 und das beste auf einer GPU bei 40, Rückgänge von 10 und 23 Punkten gegenüber der Spitze: eine größere Lücke, als vier Monate nahelegen. Der native MXFP4-Checkpoint von Kimi K3 umfasst etwa 1,56TB über 96 Shards, wobei Mozillas Serving-Konfiguration 64 oder mehr Beschleuniger nennt und vLLM für Produktionsverkehr mindestens acht GB300-GPUs über mehrere Knoten verlangt. Der Bericht beschreibt das als offen, aber für die meisten, die es besitzen, nicht lauffähig. Thinking Machines' Inkling-Small unter Apache 2.0 ist eine Ausnahme, mit einer NVFP4-Version, die auf einen B300 bei einer Untergrenze von 180GB passt.

Die Daten enden am 1. September, und die Benchmarks haben sich seither bewegt. Artificial Analysis steht inzwischen bei Index v4.3 mit einem anderen Evaluationsset, und sein Live-Board führt Claude Fable 5.1 mit 53 auf der höchsten Aufwandsstufe und Kimi K3 mit 44, Zahlen, die mit den v4.1.1-Werten, die Mozilla aufgetragen hat, nicht vergleichbar sind. Mozillas eigene Bildunterschrift lautet: "the gap resets every release cycle."

Ein weiterer Punkt im Bericht wird als Behauptung und nicht als Befund formuliert. Eine gemeinsame Warnung von NSA, CISA und FBI vom 8. September (AA26-251A) behauptet, Moonshot habe Daten von Claude Fable 5 extrahiert, um K3 durch Destillation zu trainieren, also ein Modell mit den Ausgaben eines anderen zu trainieren. Mozillas Bericht bezeichnet die Behauptung als "asserted, and unshown".

Führt man beide Stränge zusammen, ergibt sich ein unbequemes Bild für alle, die eine klare Antwort wollen. Ein Modell kann herunterladbar, billig und nur Monate von der Spitze entfernt sein und trotzdem undurchsichtig bleiben, was seine Trainingsdaten angeht. Und wenn Forscher suchen, was es behalten hat, wie das COLM-Papier mit 200 Büchern und mehr als 3.000 Experimenten, dann hängt die Antwort davon ab, welches Modell und welches Buch man fragt. Landays Zusammenfassung der Lücke, zitiert von The Register: "Open weights answer 'Can I run this?' Open source answers 'Can I trust this, improve it, and build the next thing on top of it?'"

Kommentare 0

Quellen

3
  1. 01Extracting memorized pieces of books from open-weight language modelsEN
  2. 02Open weights are not open source: Why AI's favorite label is under disputeEN
  3. 03China's open-weight AI models are now just 4 months behind frontier US offerings, Mozilla report claimsEN

Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.

Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.

Katrin Hoffmann

Katrin Hoffmann

KI, Modelle und Technik

Katrin Hoffmann schreibt für FLASH24 über Technik, KI und Modelle sowie Medien und Internet und stützt sich dabei auf Primärquellen wie Herstellerangaben, Studien und Protokolle statt auf Pressemitteilungen. Bei Benchmarks prüft sie Messmethoden, Testumgebungen und Reproduzierbarkeit, bevor sie Zahlen übernimmt. Für ihre Artikel spricht sie mit Entwicklern und Forschern, wartet auf Konferenzankündigungen und vergleicht Versionsstände von Modellen und Standards. Privat betreibt sie Selfhosting und Heimnetze und dokumentiert ihre eigene Infrastruktur, was ihrer Redaktionsarbeit zugutekommt. Sie veröffentlicht keine Zahlen ohne nachvollziehbare Quelle.

Redaktion →

Kommentare

0
  1. Noch keine Kommentare — seien Sie der Erste.

Kommentar schreiben

Kommentare sind öffentlich sichtbar. Wir veröffentlichen keine Beleidigungen, Werbung oder Spam.