Badanie pamięci: większość LLM-ów nie odtwarza większości książek
Praca przyjęta na COLM 2026 podaje, że wśród 200 książek i 14 modeli o otwartych wagach większość modeli nie zapamiętuje większości książek, choć Llama 3.1 70B potrafi odtworzyć przynajmniej jedną w całości.

Większość dużych modeli językowych nie zapamiętuje większości książek, na których je trenowano, wynika z pracy przyjętej na COLM 2026. Autorzy przeprowadzili ponad 3 000 eksperymentów ekstrakcyjnych na 200 książkach i 14 modelach o otwartych wagach. Wynik przeczy kategorycznym tezom, jakie obie strony sporu podnosiły w procesach o prawa autorskie dotyczących generatywnej AI.
Praca nosi tytuł „Extracting memorized pieces of (copyrighted) books from open-weight language models”. Po raz pierwszy trafiła na arXiv w maju 2025, a do lipca 2026 była poprawiana. Wśród autorów są A. Feder Cooper, Mark A. Lemley, Allison Casasola, Ahmed Ahmed, Aaron Gokaslan, Amy B. Cyphert, Christopher De Sa, Daniel E. Ho i Percy Liang. Streszczenie mówi wprost, że spolaryzowane stanowiska powodów i pozwanych „dramatycznie upraszczają związek między zapamiętywaniem a prawem autorskim”.
Co faktycznie pokazała metoda ekstrakcji
Główny wynik jest negatywny i węższy, niż brzmi. Przy metodzie ekstrakcji, którą zastosowali autorzy, większość LLM-ów nie zapamiętuje większości książek, ani w całości, ani we fragmentach. To zastrzeżenie ma znaczenie. Ustalenie dotyczy tego, co dało się wyciągnąć tą konkretną techniką. Nie jest dowodem ogólnym, że dane treningowe nie zostawiają śladu.
Wyjątki są krępujące dla twórców modeli. Llama 3.1 70B zapamiętuje w całości niektóre książki, piszą autorzy, wymieniając Harry'ego Pottera i kamień filozoficzny. Zapamiętanie jest tak rozległe, że całą książkę można wyciągnąć niemal słowo w słowo, deterministycznie, używając kilku pierwszych słów jako promptu początkowego. Bez sztuczek z próbkowaniem, bez jailbreaka, wystarczy fraza otwierająca.
Zapamiętywanie różniło się zarówno między modelami, jak i między książkami wśród 14 testowanych systemów o otwartych wagach. Streszczenie nie wymienia pozostałych modeli ani nie podaje rozbicia na poszczególne książki. Które tytuły są najbardziej narażone poza przykładem Harry'ego Pottera, w opublikowanym streszczeniu pozostaje kwestią otwartą.
Autorzy ostrożnie mówią o tym, co ich wyniki znaczą dla sądów. Dochodzą do wniosku, że mają one istotne znaczenie dla spraw o prawa autorskie, „choć nie takie, które jednoznacznie sprzyjałoby którejkolwiek ze stron”. To zdanie jest rzeczywistym wkładem pracy w debatę i obie grupy prawników prawdopodobnie zacytują je bez kontekstu.
Spór o licencje, który toczy się obok badań
Gdy badacze mierzą, co modele zachowują, równolegle trwa spór o to, co znaczy słowo „open”, gdy się je do nich przykleja. The Register opublikował 15 września felieton Stevena J. Vaughan-Nicholsa, który przekonuje, że branża rutynowo nazywa wydania „modelami open source”, choć są jedynie open-weight.
To rozróżnienie, jak ujmuje je felieton, decyduje o tym, czy można jedynie wdrożyć gotową sieć neuronową, czy też można obejrzeć, odtworzyć, zmienić i redystrybuować system, który ją wytworzył. Wagi to wyuczone parametry liczbowe powstałe w trakcie treningu. Razem z architekturą i kodem wnioskowania pozwalają model uruchomić. Nie mówią jednak, co do niego weszło.
Open Source Initiative stawia sprawę jasno. Jej stanowisko, cytowane w felietonie, głosi, że otwarte wagi to końcowe wagi i obciążenia wytrenowanej sieci neuronowej, a ich publikacja ujawnia tylko „ułamek informacji potrzebnych do pełnej rozliczalności”.
„Otwarte wagi to postęp. Możesz pobrać model, uruchomić go na własnej maszynie, trzymać go z dala od cudzego pipeline'u danych. Ale nadal nie widzisz, jak coś zbudowano, na czym je trenowano ani dlaczego zachowuje się tak, jak się zachowuje. To nie jest otwarty model. To otwarta dystrybucja”.
To James Landay, dyrektor Stanford Institute for Human-Centered AI, w rozmowie z The Register. Dodał, że między AI o otwartych wagach a AI open source „jest szeroka luka”, i przekonywał, że bez ujawnionych danych treningowych albo udokumentowanego, audytowalnego ich opisu osoby z zewnątrz nie mogą przetestować ani odtworzyć pracy w pełnym sensie.
Bez danych treningowych, zauważa felieton, z zewnątrz nie da się ustalić, z jakich źródeł korzystano, jakie materiały chronione prawem autorskim lub prywatne mogły się tam znaleźć, jak dane wybierano i usuwano, które języki i społeczności są niedoreprezentowane, czy dane benchmarków wyciekły do treningu ani jakie metody wyrównywania kształtowały model po pretreningu. Ta lista to dokładnie zestaw pytań, na które praca o zapamiętywaniu próbuje odpowiedzieć empirycznie, z zewnątrz, metodą ekstrakcji, a nie ujawniania.
Własna definicja OSI, Open Source AI Definition, OSAID 1.0, opublikowana w październiku 2024, wymaga, by parametry modelu, w tym wagi, były dostępne na warunkach zatwierdzonych przez OSI, ale nie narzuca konkretnego mechanizmu prawnego. Spotkała się z krytyką m.in. Bruce'a Perensa, autora pierwotnej definicji open source, który oświadczył: „To nie jest open source! ... Szkoda, że sama Open Source Initiative uczestniczy teraz w openwashingu”. Bradley Kuhn z Software Freedom Conservancy i Richard Fontana z Red Hata wezwali do wycofania OSAID, argumentując, że OSI „działała zbyt szybko, narzucając społeczności zbyt ambitny kompromis polityczny”.
Konkurencyjna propozycja, licencja Open Model, Data, and Weights Fundacji Linux, w skrócie OpenMDW, została złożona do OSI. Istnieje od 2025, wymienia współtwórców z Amazona, Meta, IBM, Microsoftu i Nvidii i definiuje osobne warunki dla architektury modelu, danych treningowych i wag. The Register podaje, że zgłoszenie spotkało się z zastrzeżeniami na liście mailingowej OSI do przeglądu licencji. Stefano Maffulli, były dyrektor wykonawczy OSI, mówił, że wciąż ma wrażenie, iż przegląd jest „skażony uprzedzeniem ideologicznym”.
Taniej, bliżej, a wciąż nie do odtworzenia
Mozilla opublikowała 15 września wersję 1.1 swojego raportu State of Open Source AI, opartą na danych aktualnych na 1 września. Tom's Hardware opisał go następnego dnia. Według raportu najlepszy otwarty model traci trzy punkty do zamkniętego lidera w Artificial Analysis Intelligence Index, przy 60% ceny, i dwa punkty do Claude Fable 5 przy 30%. Dopasowanie Mozilli do danych METR o horyzoncie zadań daje lukę otwarte-zamknięte około 4,4 miesiąca, zgodnie z czteromiesięcznym szacunkiem Epoch AI.
Metodologia zasługuje na krytyczne spojrzenie. METR ocenia modele według długości zadania, mierzonej czasem pracy człowieka, które kończą w połowie przypadków. Według dopasowanego szacunku Mozilli zamknięte modele radzą sobie z zadaniami zajmującymi ekspertom od 8 do 12 godzin; otwarte osiągają ten poziom około czterech miesięcy później, a zdolności otwartych podwajają się co 3,9 miesiąca wobec 5,5 dla zamkniętych. Raport opiera się na ankiecie Mozilla/SlashData wśród około 1 400 programistów, danych o ruchu z OpenRoutera i zewnętrznych wskaźnikach benchmarkowych. Mozilla opowiada się za otwartymi modelami, a TIME podał 14 lipca, że Raffi Krikorian, dyrektor ds. technologii Mozilli, określił raport jako częściowo rzeczniczy.
W Terminal-Bench 2.1 na vals.ai, gdzie każdy model przechodzi przez ten sam zestaw narzędzi, GLM-5.2 od Z.ai zdobył wynik w granicach punktu od Claude Opus 4.7 i około czterech punktów za Opus 4.8, przy koszcie poniżej jednej piątej ceny za test. Na OpenRouterze Mozilla naliczyła osiem z dziesięciu czołowych modeli według wolumenu tokenów do sierpnia jako otwarte wagi, siedem z nich zbudowanych w Chinach. Zamknięci dostawcy mimo to zgarnęli 96% przychodów warstwy modelowej na OpenRouterze od maja do września 2025, według Fundacji Linux. „Decyzję o płaceniu za zamknięte [modele] postrzegamy jako zależną od obciążenia, a nie od organizacji” - powiedział Krikorian w mailu do Ars Technica.
Raport liczy 16 znaczących otwartych wydań, a Tom's Hardware zauważa, że żadne nie dostarcza przepisu na dane wymaganego przez definicję OSI. Czteromiesięczna luka i liczba 30% ceny tokenów są mierzone API do API na hostowanych endpointach i według ceny katalogowej. Własny wykres sprzętowy raportu stawia najlepszy otwarty model mieszczący się na jednym serwerze na 52,6, a najlepszy na jednym GPU na 40, czyli spadki o 10 i 23 punkty od szczytu: luka szersza, niż sugerują cztery miesiące. Natywny checkpoint MXFP4 modelu Kimi K3 zajmuje około 1,56 TB na 96 shardach, a konfiguracja serwowania Mozilli wymienia 64 lub więcej akceleratorów; vLLM wymaga co najmniej ośmiu GPU GB300 i wielu węzłów dla ruchu produkcyjnego. Raport opisuje to jako otwarte, ale nierunowalne dla większości tych, którzy to mają. Inkling-Small od Thinking Machines, na licencji Apache 2.0, jest wyjątkiem, z wersją NVFP4, która mieści się na jednym B300 przy dolnej granicy 180 GB.
Dane kończą się 1 września, a benchmarki od tego czasu się zmieniły. Artificial Analysis jest teraz na wersji indeksu v4.3 z innym zestawem ewaluacyjnym, a jego bieżąca tablica pokazuje Claude Fable 5.1 na 53 przy najwyższym ustawieniu wysiłku i Kimi K3 na 44, liczbach nieporównywalnych z wartościami v4.1.1, które naniosła Mozilla. Podpis pod własnym wykresem Mozilli brzmi: „luka resetuje się w każdym cyklu wydawniczym”.
Jeden element raportu podano jako zarzut, nie jako ustalenie. Wspólne ostrzeżenie NSA, CISA i FBI z 8 września (AA26-251A) twierdzi, że Moonshot wyciągnął dane Claude Fable 5, by trenować K3 metodą destylacji, czyli trenowania jednego modelu na wynikach drugiego. Raport Mozilli opisuje to twierdzenie jako „zgłoszone, ale niepokazane”.
Połącz oba wątki, a obraz staje się niewygodny dla każdego, kto chce czystej odpowiedzi. Model może być do pobrania, tani, w granicach miesięcy od czołówki, a mimo to nieprzejrzysty co do danych treningowych. A gdy badacze szukają tego, co zachował, jak w pracy na COLM z 200 książkami i ponad 3 000 eksperymentów, okazuje się, że odpowiedź zależy od tego, o który model i którą książkę pytasz. Podsumowanie luki według Landaya, cytowane przez The Register: „Otwarte wagi odpowiadają na pytanie »Czy mogę to uruchomić?«. Open source odpowiada: »Czy mogę temu zaufać, ulepszyć to i zbudować na tym następną rzecz?«”.
Źródła
3- 01Extracting memorized pieces of books from open-weight language modelsEN
- 02Open weights are not open source: Why AI's favorite label is under disputeEN
- 03China's open-weight AI models are now just 4 months behind frontier US offerings, Mozilla report claimsEN
Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.
Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.
Komentarze
0- Brak komentarzy — bądź pierwszy.