Zum Inhalt
WeltzeitEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal über KI und Technologieereignisse · analysen · interviews · technischer hintergrund

Suche
LIVE
›

Offene Gewichte, Open Source und ein Modell, das Harry Potter auswendig gelernt hat

Ein neues arXiv-Papier berichtet, dass Llama 3.1 70B mindestens ein Buch fast wörtlich wiedergeben kann. Das belebt die Debatte darüber, was "offene Gewichte" tatsächlich offenlegen.

KI & ModelleAnalyseLena BrandtVeröffentlicht: 27. September 20265 Min. LesezeitQuellen 3
Offene Gewichte, Open Source und ein Modell, das Harry Potter auswendig gelernt hat

Zwei Dinge stimmen für Sprachmodelle mit offenen Gewichten gleichzeitig, und die Branche tut seit drei Jahren so, als wäre es anders. Sie sind wirklich nützlich. Und sie sind kein Open Source.

Der Unterschied ist keine Wortklauberei. Er entscheidet, ob jemand außerhalb des Labors, das ein Modell veröffentlicht, prüfen kann, was das Modell gelernt hat, ob sich nachvollziehen lässt, wie es gelernt hat, und ob sich Aussagen zu Verzerrungen und Sicherheit überprüfen lassen. Die aktuelle Welle der "offenen" Modellveröffentlichungen, von Metas Llama-Reihe bis zu Mistrals Mixtral, gibt Gewichte heraus und sonst wenig. Trainingscode, Datensätze und Methodik bleiben hinter der Wand. Prompt Engineering hat die Lücke im Dezember 2023 deutlich benannt: Offene Gewichte erlauben die Nutzung eines Modells, aber keine vollständige Transparenz. Open Source ermöglicht Verständnis und Anpassung des Modells, verlangt bei der Veröffentlichung aber deutlich mehr Arbeit.

Was ein Gewicht tatsächlich ist

Gewichte sind das numerische Ergebnis eines Trainingslaufs. Sie sind nicht für Menschen lesbar, nicht debugbar und keine Anweisungen. Quellcode ist alles drei. Laut Prompt Engineering ist die Verwechslung der beiden ein häufiger Fehler mit echten Folgen, weil Menschen dadurch eine proprietäre Trainingspipeline als Open Source beschreiben, nur weil eine Datei mit Parametern herunterladbar ist.

Die praktischen Kosten zeigen sich bei der Prüfbarkeit. Sind nur Gewichte verfügbar, können Entwickler moderne Modelle betreiben, aber Verzerrungen, Grenzen und gesellschaftliche Folgen nicht sinnvoll bewerten, so das Papier weiter. Eine Fehlausrichtung zwischen Modell und realen Anforderungen wird schwer zu erkennen. Mit vollem Zugriff auf den Quellcode können Forscher über Organisationen hinweg Fairness, Sicherheit und Robustheit gründlich prüfen. Das ist der Tausch: Bequemlichkeit jetzt, Einblick nie.

Nur die Gewichte eines Modells zu veröffentlichen, ermöglicht breit die Anwendungsentwicklung, konzentriert die Kontrolle aber bei einer kleinen Gruppe von Organisationen. Open-Source-Zugang verteilt die Kontrolle, verlangt aber mehr Einsatz für Transparenz und Dezentralisierung.

Diese Einordnung ist gut gealtert, auch weil die Belege für das Problem der Prüfbarkeit weiter eintreffen.

Das Problem des Auswendiglernens

Am 18. Mai 2025 reichte eine Gruppe von Forschern, darunter A. Feder Cooper, Mark A. Lemley und Percy Liang, ein Papier bei arXiv ein. Es misst, wie viel urheberrechtlich geschützter Buchtext sich aus Sprachmodellen mit offenen Gewichten herauspressen lässt. Sie wandten ihre Extraktionstechnik auf 200 Bücher und 14 Modelle mit offenen Gewichten an und führten mehr als 3000 Experimente durch. Die sechste Fassung des Papiers, überarbeitet am 20. Juli 2026, ist die aktuelle.

Das wichtigste Ergebnis läuft beiden Seiten des Urheberrechtsstreits zuwider. Die meisten LLMs lernen die meisten Bücher nicht auswendig, weder ganz noch teilweise, heißt es in dem Papier. Es gibt aber bemerkenswerte Ausnahmen. Llama 3.1 70B lernt einige Bücher vollständig auswendig, darunter Harry Potter and the Sorcerer's Stone. Das Auswendiglernen reicht so weit, dass sich das ganze Buch fast wörtlich und deterministisch extrahieren lässt, wenn man seine ersten Worte als ersten Prompt nutzt.

Kläger und Beklagte in Urheberrechtsverfahren zu generativer KI, schreiben die Autoren, erheben pauschale und gegensätzliche Behauptungen zum Auswendiglernen, die das Verhältnis zwischen Auswendiglernen und Urheberrecht stark vereinfachen. Ihre Ergebnisse, fügen sie hinzu, hätten erhebliche Folgen für Urheberrechtsfälle, allerdings keine, die eindeutig einer Seite nützen.

Man beachte, was das Experiment voraussetzte. Es brauchte Gewichte, die sich herunterladen und befragen ließen. Ein gesperrtes Modell hätte denselben Test für externe Forscher unmöglich gemacht. Offene Gewichte ermöglichten den Befund also, obwohl offene Gewichte kein Open Source sind.

Ein kleines Gegenbeispiel

Nicht jede Veröffentlichung mit offenen Gewichten ist ein Frontier-Modell. Superwhisper veröffentlichte s1-mini, einen Textnormalisierer mit 0,6 Milliarden Parametern für die Ausgabe von Spracherkennung, unter Apache 2.0 plus einer Namensklausel. Er nimmt ein rohes ASR-Transkript und schreibt es in sauberen geschriebenen Text um: Füllwörter entfernt, falsche Anfänge aufgelöst, Zeichensetzung und Großschreibung gesetzt, gesprochene Zahlen und Daten in geschriebener Form. Auf einem zurückgehaltenen Satz von 7519 englischen Fällen erreicht er 94,8 Prozent Token-Genauigkeit, und der quantisierte Build ist eine Datei von 462 MiB, die auf einer Laptop-CPU läuft.

Die Versionshinweise sind ungewöhnlich offen für eine Eigenheit der Dokumentation. Die Seitenleiste von Hugging Face meldet 0,8 Milliarden Parameter, doch die Modellkarte nennt als echte Zahl 596,0 Millionen eindeutige Parameter, weil das Embedding mit 155,6 Millionen Parametern zweimal gespeichert ist: 751,6 Millionen Tensorelemente gegen 596,0 Millionen eindeutige. Das Layout stammt von Qwen/Qwen3-0.6B, das auf dem Hub aus demselben Grund 0,8 Milliarden meldet.

Genau solche Offenlegung ist das ganze Argument dafür, Gewichte mit Dokumentation zu veröffentlichen. Sie ist zugleich genau kein Quellcode. Die Modellkarte nennt das Basismodell, die Präzision, die erwartete Eingabeform und die Lizenz. Sie liefert nicht die Trainingsdaten und nicht das vollständige Rezept.

Warum die Etiketten weniger zählen als der Zugang

Prompt Engineering schlug vor, den Wortschatz zu trennen: "Open Weights" für Lizenzen, die Gewichte neuronaler Netze abdecken, und "Ethical Weights" für eine eigene Kategorie von Lizenzen, die speziell für Gewichte gedacht sind. Der Vorschlag hat sich nicht breit durchgesetzt, und das Marketing ist nicht langsamer geworden.

  • Offene Gewichte: Parameter veröffentlicht, Trainingscode und Daten zurückgehalten, Nutzung und Feintuning erlaubt.
  • Open Source: Architekturcode, Trainingsmethodik, Hyperparameter, ursprünglicher Datensatz und Dokumentation veröffentlicht.
  • Gesperrte Gewichte: Parameter nur unter erheblichen rechtlichen oder ethischen Einschränkungen verfügbar.

Der Unterschied hat einen Nebeneffekt zweiter Ordnung, der selten in den Ankündigungen auftaucht. Open Source stärkt dezentralen Fortschritt, wie Prompt Engineering es formuliert, weil Forscher weltweit Verbesserungen und alternative Entwicklungsrichtungen vorschlagen können, statt den Fortschritt bei den wenigen Unternehmen zu belassen, die riesige proprietäre Modelle trainieren können. Offene Gewichte bündeln diese Fähigkeit stattdessen und verteilen nur die Artefakte.

Nichts davon macht Veröffentlichungen mit offenen Gewichten wertlos. Die Studie zum Auswendiglernen existiert, weil sie es nicht sind. Aber ein herunterladbarer Checkpoint ist eine Lizenz, ein Modell zu nutzen, keine Lizenz, es zu verstehen, und in der Lücke zwischen beidem findet der größte Teil der aktuellen Debatte über KI-Offenheit tatsächlich statt.

Kommentare 0

Quellen

3
  1. 01Openness in Language Models: Open Source vs Open Weights vs Restricted WeightsEN
  2. 02Extracting memorized pieces of (copyrighted) books from open-weight language modelsEN
  3. 03S1-mini, Superwhisper's first open-weights language modelEN

Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.

Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.

Lena Brandt

Lena Brandt

KI, Modelle und Technik

Lena Brandt schreibt für FLASH24 über Technik, KI und Modelle sowie Medien und Internet und stützt sich dabei auf Herstellerangaben, Studien und öffentlich zugängliche Datensätze, statt Pressemitteilungen ungeprüft zu übernehmen. Bei Modellvergleichen kontrolliert sie Benchmark-Werte, Trainingsdaten und Versionsnummern und rechnet Angaben zu Rechenleistung und Kosten selbst nach. Sie spricht mit Entwicklern und Forschern, wartet auf angekündigte Updates und vergleicht Releases, bevor sie eine Einschätzung abgibt. Privat beschäftigt sie sich mit 3D-Druck, alten Rechnern und der Frage, wie Modelle aus Internetmüll lernen – Themen, die regelmäßig in ihre Texte einfließen. Sie publiziert keine Zahlen, deren Quelle sie nicht selbst überprüfen konnte.

Redaktion →

Kommentare

0
  1. Noch keine Kommentare — seien Sie der Erste.

Kommentar schreiben

Kommentare sind öffentlich sichtbar. Wir veröffentlichen keine Beleidigungen, Werbung oder Spam.