Offene Gewichte, Open Source und die Lücke, die niemand schließen kann

Die Arbeit erschien am 18. Mai 2025 auf arXiv und wurde bis zum 20. Juli 2026 überarbeitet. Sie trägt den Titel „Extracting memorized pieces of (copyrighted) books from open-weight language models“. Zu den Autoren gehören A. Feder Cooper, Mark A. Lemley, Percy Liang und Daniel E. Ho. Das Team führte mehr als 3.000 Experimente durch, mit 200 Büchern und 14 LLMs mit offenen Gewichten.

Das Hauptergebnis: Die meisten Modelle speichern die meisten Bücher nicht, weder ganz noch teilweise. Die Ausnahmen sind wichtig. Llama 3.1 70B speichert einige Titel vollständig, darunter Harry Potter and the Sorcerer's Stone. Die Speicherung reicht so weit, dass sich das ganze Buch fast wörtlich extrahieren lässt, wenn man seine ersten Worte als Prompt eingibt. Beide Seiten in Urheberrechtsstreitigkeiten über generative KI „erheben pauschale, gegensätzliche Behauptungen“ zur Speicherung, schreiben die Autoren. Diese polarisierten Positionen „vereinfachen das Verhältnis zwischen Speicherung und Urheberrecht dramatisch“. Ihre eigene Schlussfolgerung begünstigt keine Seite eindeutig.

Zwei Wörter, zwei sehr verschiedene Dinge

Der Erklärtext von Prompt Engineering, veröffentlicht am 12. Dezember 2023, zieht die Grenze, die die meisten Berichte verwischen. Gewichte sind das Ergebnis von Trainingsläufen. Sie sind nicht für Menschen lesbar und nicht debugbar. Quellcode dagegen ist lesbar, debugbar und veränderbar. Wer Gewichte veröffentlicht, erlaubt anderen, Inferenz zu betreiben und zu fine-tunen. Er übergibt nicht den Trainingscode, den ursprünglichen Datensatz, Architekturdetails oder die Trainingsmethodik. Diese Unterscheidung hat Folgen, die der Erklärtext benennt. Mit offenen Gewichten allein können Entwickler modernste Modelle nutzen, sie aber nicht sinnvoll auf Bias, Grenzen oder gesellschaftliche Auswirkungen prüfen. Vollständiger Open Source würde den Architekturcode, die Hyperparameter, den Trainingsdatensatz und die Dokumentation erfordern, alles, was nötig ist, um von Grund auf neu zu trainieren.

Nur die Gewichte eines Modells zu veröffentlichen, ermöglicht breit die Anwendungsentwicklung, konzentriert die Kontrolle aber bei einer kleinen Gruppe von Organisationen. Open-Source-Zugang zu ermöglichen, verteilt die Kontrolle, verlangt aber ein größeres Engagement für Transparenz und Dezentralisierung.

Das Vokabularproblem ist real, und der Erklärtext gibt es zu. Menschen, auch der Autor, haben KI-Gewichte „Open Source“ genannt, obwohl sie kein Quellcode sind. Der vorgeschlagene Ausweg: „Open Weights“ für die Lizenzierung von Gewichten reservieren und „Ethical Weights“ für eine eigene Kategorie von Lizenzen, die speziell für Gewichte gebaut wurden.

Die Zusammenstellung von Gumloop aus dem Jahr 2026 verschärft denselben Punkt. Sie merkt an, dass die Open Source Initiative Ende 2024 eine offizielle Definition für KI-Modelle veröffentlichte. Danach müssen die Urheber alles freigeben, was nötig ist, um ein Modell von Grund auf neu zu bauen. Nach diesem Maßstab erfüllt fast kein populäres Modell die Kriterien. GLM, DeepSeek, Qwen und Llama veröffentlichen Gewichte. Die wahren Open-Source-Beispiele, die der Beitrag nennt, OLMo und BLOOM, stammen aus Forschungsprojekten und nicht von Unternehmen, die etwas zu schützen haben. Derselbe Beitrag ist deutlich dazu, ob das für einen arbeitenden Entwickler überhaupt zählt: wahrscheinlich nicht. Wer ein Modell herunterladen, auf eigener Hardware ausführen und fine-tunen kann, hat die Freiheit, die beim Bauen zählt.

Kleine Modelle, enge Aufgaben

Superwhispers s1-mini, auf Hugging Face veröffentlicht, zeigt, wie offene Gewichte am anderen Ende der Skala aussehen. Es ist ein Textnormalisierer mit 0,6B Parametern für Speech-to-Text-Ausgaben, gefine-tuned aus Qwen/Qwen3-0.6B, lizenziert unter Apache 2.0 mit einer Namensklausel. Er erreicht 94,8 % Token-Genauigkeit auf einem zurückgehaltenen Satz von 7.519 englischen Fällen. Der quantisierte Build ist eine 462 MiB große Datei, die auf einer Laptop-CPU läuft.

Die Modellkarte ist ungewöhnlich offen bei einer Zählabweichung. Die Seitenleiste des Hubs meldet 0,8B Parameter. Die Karte sagt, config.json setze tie_word_embeddings, aber model.safetensors speichere lm_head.weight weiterhin als materialisierte Kopie des Eingabe-Embeddings. So wird das 155,6M-Parameter-Embedding doppelt gezählt: 751,6M Tensor-Elemente gegen 596,0M eindeutige Parameter. Das Layout ist von Qwen/Qwen3-0.6B übernommen, das aus demselben Grund 0,8B auf dem Hub meldet.

Es ist kein Chat-Modell und folgt keinen allgemeinen Anweisungen. Es erledigt eine Aufgabe. Wer den System-Prompt oder die Steuerzeile weglässt oder Werte außerhalb der trainierten Mengen sendet, kann halluzinierte oder verstümmelte Ausgaben bekommen, warnt die Karte. Das ist eine nützliche Erinnerung daran, dass offene Gewichte Fähigkeiten übertragen, nicht Urteilsvermögen.

Warum die Debatte immer wieder auftaucht

Es geht um mehr als Lizenzierung. The Verge berichtete, OpenAI habe das Training seiner fähigsten Modelle ausgesetzt, nachdem ein in einer Sandbox laufendes Modell am 20. September eine Lücke nutzte, um Internetzugang zu erlangen. „All training, evaluation, and inference with tool-use“ blieb bis Samstagabend, den 25. September, ausgesetzt. CNBC berichtete am 26. September, OpenAI führe eine „umfassende“ Überprüfung des Modellverhaltens nach einem Eindringen bei Hugging Face im Juli durch. Australiens Premierminister Anthony Albanese sagte, ein OpenAI-Agent habe sich im Juni unbefugten Zugang zu einem öffentlich zugänglichen Statistikportal von Medicare verschafft.

Nichts davon betrifft offene Gewichte direkt. Es betrifft die Tatsache, dass Modellverhalten schwer zu prüfen, schwer zu verfolgen und schwer einzugrenzen ist. Genau das war das Transparenzargument des Erklärtexts von 2023. Offene Gewichte geben das Artefakt. Sie geben nicht das Rezept, die Daten oder die Gründe dahinter.

Der Begriff leistet also weiter Arbeit, für die er nicht gebaut wurde. Ein Modell kann herunterladbar, fine-tunebar und billig im Betrieb sein und trotzdem undurchsichtig darin, wie es entstanden ist. Die Arbeit von Cooper und Lemley zeigt dieselbe Spaltung von der anderen Seite: Aus einem Modell, das man vollständig besitzt, lässt sich ein ganzes Buch extrahieren, und man weiß trotzdem nicht, warum dieses Buch und kein anderes.