Zum Inhalt
WeltzeitEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal über KI und Technologieereignisse · analysen · interviews · technischer hintergrund

Suche
LIVE
›

Offene Gewichte, geschlossene Rezepte: Was die Memorierungsstudie und der Lizenzstreit wirklich zeigen

Eine Studie zur COLM 2026 hat gemessen, wie stark 14 Sprachmodelle mit offenen Gewichten 200 Bücher memoriert haben. Die meisten Modelle geben die meisten Bücher nicht wieder. Llama 3.1 70B aber lässt sich mit den ersten Wörtern eines Buchs zu einer fast wörtlichen Ausgabe einiger Titel verleiten. Die Arbeit fällt mitten in den Streit darüber, was "offen" bedeuten soll.

KI & ModelleAnalyseLena BrandtVeröffentlicht: 27. September 20265 Min. LesezeitQuellen 3
Offene Gewichte, geschlossene Rezepte: Was die Memorierungsstudie und der Lizenzstreit wirklich zeigen

Die Studie heißt Extracting memorized pieces of (copyrighted) books from open-weight language models, arXiv:2505.12546. Sie wurde am 18. Mai 2025 erstmals eingereicht und bis zum 20. Juli 2026 überarbeitet. Die Autoren sind A. Feder Cooper, Mark A. Lemley, Allison Casasola, Ahmed Ahmed, Aaron Gokaslan, Amy B. Cyphert, Christopher De Sa, Daniel E. Ho und Percy Liang. Angenommen ist sie bei der COLM 2026.

Ihr erklärtes Ziel ist die Argumentationsweise der Gerichtsverfahren. Kläger und Beklagte in Urheberrechtsfällen zu generativer KI, heißt es im Abstract, "often make sweeping, opposing claims about the extent to which large language models (LLMs) memorize protected expression from books in their training data." Beide Seiten, schreiben die Autoren, "dramatically oversimplify the relationship between memorization and copyright."

Also entwickelten sie ein Messverfahren und ließen es in großem Maßstab laufen: 200 Bücher, 14 Modelle mit offenen Gewichten, mehr als 3000 Experimente. Das Hauptergebnis fällt gegen die stärksten Behauptungen aus. "With respect to our specific extraction methodology, we find that most LLMs do not memorize most books -- either in whole or in part."

Dann die Ausnahmen. Llama 3.1 70B "entirely memorizes some books, like Harry Potter and the Sorcerer's Stone." Die Memorierung reicht dort so weit, dass man laut Abstract "one can deterministically extract the whole book almost verbatim using the book's first few words as an initial prompt." Der Befund gilt für ein bestimmtes Modell und ein bestimmtes Buch. Genau das ist der Punkt: Memorierung ist keine Eigenschaft von LLMs an sich.

Ob das jemandem vor Gericht hilft, bleibt offen. Die Ergebnisse, heißt es im Abstract, "have significant implications for copyright cases, though not ones that unambiguously favor either side."

Das Etikettproblem darunter

Die Modelle dieser Studie haben offene Gewichte. Man kann sie herunterladen. Das ist nicht dasselbe wie Open Source, und The Register legte das am 15. September 2026 in einer Kolumne von Steven J. Vaughan-Nichols dar. Die Open Source Initiative, Hüterin der Open Source Definition, bezeichnet offene Gewichte als "the final weights and biases of a trained neural network". Sie ergänzt, die Gewichte allein gäben nur "a fraction of the information required for full accountability" preis.

James Landay, Direktor des Stanford Institute for Human-Centered AI, brachte die praktische Seite gegenüber The Register so auf den Punkt: "Open weights are progress. You can download the model, run it on your own machine, keep it out of someone else's data pipeline. But you still can't see how the thing was built, what it was trained on, or why it behaves the way it does. That's not an open model. That's open distribution."

"Open weights answer 'Can I run this?' Open source answers 'Can I trust this, improve it, and build the next thing on top of it?'"

Auch das zweite Zitat stammt von Landay, aus derselben Kolumne bei The Register. Sie berichtet über Kritik an der Open Source AI Definition 1.0 der OSI von Bruce Perens, Bradley Kuhn und Richard Fontana. Die OSI räumte bei der Veröffentlichung von OSAID 1.0 im Oktober 2024 ein, die Definition werde sich weiterentwickeln. Mike Dolan von der Linux Foundation hat die Lizenz Open Model, Data, and Weights eingereicht. Sie ist seit 2025 im Umlauf, als Mitwirkende sind Amazon, Meta, IBM, Microsoft und Nvidia genannt. Gegen die Einreichung gab es Einwände auf der Mailingliste zur Lizenzprüfung der OSI.

Für das Ergebnis zur Memorierung ist das wichtig. Wer die Trainingsdaten nicht sieht, kann unabhängig nicht prüfen, welche Bücher hineingingen. Der extrahierte Text ist dann der einzige Beleg dafür, was herauskam.

Billig, nah dran und schwer zu betreiben

Mozilla veröffentlichte am 15. September 2026 Version 1.1 seines Berichts State of Open Source AI. Die Daten reichen laut Tom's Hardware bis zum 1. September. Mozilla ist die gemeinnützige Organisation hinter Firefox und tritt für offene Modelle ein. Der Bericht stützt sich auf eine Umfrage von Mozilla und SlashData unter rund 1.400 Entwicklern, auf Verkehrsdaten von OpenRouter und auf Benchmark-Indizes Dritter. Er zählt 16 bemerkenswerte offene Veröffentlichungen. Tom's Hardware merkt an, dass keine davon das Datenrezept liefert, das die OSI-Definition verlangt.

Die Leistungszahlen: Das beste offene Modell lag auf dem Artificial Analysis Intelligence Index drei Punkte hinter dem geschlossenen Spitzenmodell, bei 60% des Preises. Auf Claude Fable 5 fehlten ihm bei 30% des Preises zwei Punkte. Mozillas Anpassung an die METR-Daten zur Aufgabenhorizontkurve setzt die Lücke zwischen offen und geschlossen bei etwa 4,4 Monaten an, nahe der Schätzung von Epoch AI von vier Monaten. Die offene Leistungsfähigkeit verdoppelt sich nach Mozillas Rechnung alle 3,9 Monate, die geschlossene alle 5,5 Monate.

Die Einschränkungen wiegen so schwer wie die Schlagzeile. Die Vier-Monats-Lücke und die 30% sind von API zu API auf gehosteten Endpunkten zum Listenpreis gemessen. Mozillas eigene Hardware-Tabelle setzt das beste offene Modell, das auf einen Server passt, bei 52,6 an und das beste auf einer GPU bei 40. Das sind 10 und 23 Punkte unter dem Spitzenwert, eine breitere Streuung, als vier Monate vermuten lassen. Der native MXFP4-Checkpoint von Kimi K3 umfasst über 96 Shards etwa 1,56TB. Mozillas Serving-Konfiguration nennt 64 oder mehr Beschleuniger, und vLLM verlangt mindestens acht GB300-GPUs. Der Bericht nennt das offen, aber für die meisten, die es besitzen, nicht lauffähig.

Auf der Nachfrageseite zählte Mozilla acht der zehn meistgenutzten Modelle nach Token-Volumen im August auf OpenRouter zu den offenen Gewichten, sieben davon chinesischen Ursprungs. Geschlossene Anbieter erzielten laut der Linux Foundation von Mai bis September 2025 dennoch 96% des Umsatzes auf Modellebene bei OpenRouter. Mozillas CTO Raffi Krikorian sagte per E-Mail an Ars Technica, die Entscheidung für geschlossene Modelle wirke eher arbeitslastspezifisch als organisationsspezifisch.

Noch ein Strang. Der Bericht führt als "asserted, and unshown" einen Vorwurf aus der gemeinsamen Warnung AA26-251A von NSA, CISA und FBI vom 8. September auf. Moonshot habe Daten aus Claude Fable 5 extrahiert, um Kimi K3 durch Distillation zu trainieren. Unbewiesen und ungeklärt.

Zusammengenommen beschreiben die beiden Dokumente dasselbe Objekt von verschiedenen Enden. Ein Modell lässt sich herunterladen und feinabstimmen. In mindestens einem dokumentierten Fall bringt ein Prompt es dazu, einen Roman fast wörtlich wiederzugeben. Die Trainingsdaten dahinter bleiben undokumentiert, nicht als Open Source lizenziert und bei den größten Checkpoints außerhalb der Reichweite der Hardware, die die meisten Menschen haben.

Kommentare 0

Quellen

3
  1. 01Extracting memorized pieces of (copyrighted) books from open-weight language modelsEN
  2. 02Open weights are not open source: Why AI's favorite label is under disputeEN
  3. 03China's open-weight AI models are now just 4 months behind frontier US offerings, Mozilla report claimsEN

Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.

Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.

Lena Brandt

Lena Brandt

KI, Modelle und Technik

Lena Brandt schreibt für FLASH24 über Technik, KI und Modelle sowie Medien und Internet und stützt sich dabei auf Herstellerangaben, Studien und öffentlich zugängliche Datensätze, statt Pressemitteilungen ungeprüft zu übernehmen. Bei Modellvergleichen kontrolliert sie Benchmark-Werte, Trainingsdaten und Versionsnummern und rechnet Angaben zu Rechenleistung und Kosten selbst nach. Sie spricht mit Entwicklern und Forschern, wartet auf angekündigte Updates und vergleicht Releases, bevor sie eine Einschätzung abgibt. Privat beschäftigt sie sich mit 3D-Druck, alten Rechnern und der Frage, wie Modelle aus Internetmüll lernen – Themen, die regelmäßig in ihre Texte einfließen. Sie publiziert keine Zahlen, deren Quelle sie nicht selbst überprüfen konnte.

Redaktion →

Kommentare

0
  1. Noch keine Kommentare — seien Sie der Erste.

Kommentar schreiben

Kommentare sind öffentlich sichtbar. Wir veröffentlichen keine Beleidigungen, Werbung oder Spam.