Przejdź do treści
Czas na świecieEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal o AI i technologiiwydarzenia · analizy · wywiady · tło techniczne

Szukaj
NA ŻYWO
›

Otwarte wagi, otwarte źródło i model, który zapamiętał Harry'ego Pottera

Nowa praca na arXiv podaje, że Llama 3.1 70B potrafi odtworzyć co najmniej jedną książkę niemal słowo w słowo. To wznawia spór o to, co właściwie ujawniają „otwarte wagi”.

AI i modeleAnalizaMarta ZielińskaOpublikowano: 27 września 20265 min czytaniaŹródła 3
Otwarte wagi, otwarte źródło i model, który zapamiętał Harry'ego Pottera

O otwartych wagach modeli językowych prawdziwe są dwie rzeczy naraz, a branża od trzech lat udaje, że jest inaczej. Takie modele są naprawdę użyteczne. I nie są otwartym źródłem.

To rozróżnienie nie jest semantycznym czepianiem się słówek. Decyduje o tym, czy ktokolwiek spoza laboratorium, które model wypuściło, może sprawdzić, czego ten model się nauczył, odtworzyć, jak się uczył, albo zweryfikować twierdzenia o uprzedzeniach i bezpieczeństwie. Obecna fala „otwartych” wydań, od linii Llama firmy Meta po Mixtral firmy Mistral, publikuje wagi i niewiele więcej. Kod treningowy, zbiory danych i metodyka zostają za ścianą. Tekst Prompt Engineering z grudnia 2023 roku ujął tę lukę wprost: otwarte wagi pozwalają korzystać z modelu, ale nie dają pełnej przejrzystości, a otwarte źródło umożliwia zrozumienie i dostosowanie modelu, wymaga jednak znacznie więcej pracy przy publikacji.

Czym właściwie są wagi

Wagi to liczbowy wynik przebiegu treningu. Nie da się ich czytać jak tekstu, nie da się ich debugować i nie są instrukcjami. Kod źródłowy jest tym wszystkim trzema rzeczami naraz. Według Prompt Engineering utożsamianie jednego z drugim to częsty błąd o realnych skutkach, bo prowadzi do opisywania zastrzeżonego procesu treningu jako otwartego źródła tylko dlatego, że plik parametrów można pobrać.

Koszt widać w możliwości audytu. Gdy dostępne są wyłącznie wagi, programiści mogą uruchamiać modele najnowszej generacji, ale nie potrafią sensownie ocenić uprzedzeń, ograniczeń i skutków społecznych, przekonuje ten sam tekst. Trudno wtedy wychwycić rozjazd między modelem a rzeczywistymi potrzebami. Przy pełnym dostępie do źródła badacze z różnych organizacji mogą prowadzić rzetelne audyty sprawiedliwości, bezpieczeństwa i odporności. Taki jest układ: wygoda teraz, wgląd w głąb nigdy.

Publikacja samych wag modelu szeroko umożliwia tworzenie aplikacji, ale skupia kontrolę w rękach niewielkiej grupy organizacji. Udostępnienie otwartego źródła rozprasza tę kontrolę, wymaga jednak większego zaangażowania w przejrzystość i decentralizację.

To ujęcie się nie zestarzało, między innymi dlatego, że dowody na problem z wglądem wciąż napływają.

Problem zapamiętywania

18 maja 2025 roku grupa badaczy, w której byli A. Feder Cooper, Mark A. Lemley i Percy Liang, złożyła na arXiv pracę mierzącą, ile tekstu z książek objętych prawem autorskim można wydobyć z modeli o otwartych wagach. Swoją technikę ekstrakcji zastosowali do 200 książek i 14 modeli o otwartych wagach, przeprowadzając ponad 3000 eksperymentów. Szósta wersja pracy, poprawiona 20 lipca 2026 roku, jest obecną.

Główny wynik przeczy obu stronom sporu o prawa autorskie. Większość modeli językowych nie zapamiętuje większości książek, ani w całości, ani we fragmentach, podaje praca. Są jednak wyraźne wyjątki. Llama 3.1 70B zapamiętuje w całości niektóre książki, w tym Harry Potter i Kamień Filozoficzny. Zapamiętanie jest tak rozległe, że całą książkę można wydobyć niemal słowo w słowo, deterministycznie, używając jej pierwszych kilku słów jako promptu startowego.

Powodowie i pozwani w sprawach sądowych o prawa autorskie do generatywnej AI, piszą autorzy, formułują kategoryczne i przeciwstawne twierdzenia o zapamiętywaniu, które mocno upraszczają związek między zapamiętywaniem a prawem autorskim. Ich wyniki, dodają, mają istotne znaczenie dla spraw o prawa autorskie, choć nie takie, które jednoznacznie sprzyjałoby którejkolwiek ze stron.

Eksperyment wymagał jednak czegoś konkretnego: wag, które da się pobrać i przepytać. Model zamknięty uniemożliwiłby ten sam test badaczom z zewnątrz. Innymi słowy, otwarte wagi umożliwiły to odkrycie, choć otwarte wagi to nie otwarte źródło.

Mały kontrprzykład

Nie każde wydanie o otwartych wagach dotyczy modelu granicznego. Superwhisper opublikował s1-mini, normalizator tekstu dla wyjścia z rozpoznawania mowy o 600 000 000 parametrów, na licencji Apache 2.0 z klauzulą o nazwie. Model bierze surowy transkrypt ASR i przepisuje go na czysty tekst pisany: usuwa wypełniacze, rozwiązuje fałszywe starty, wstawia interpunkcję i wielkie litery, zapisuje liczebniki i daty słownie. Na wyodrębnionym zbiorze 7519 angielskich przypadków osiąga 94,8% dokładności na poziomie tokenów, a skwantyzowana wersja to plik 462 MiB, który działa na procesorze laptopa.

Notatki do wydania są nietypowo szczere w kwestii pewnej osobliwości dokumentacji. Pasek boczny Hugging Face podaje 800 000 000 parametrów, ale karta modelu mówi, że realna liczba to 596 000 000 unikalnych parametrów, bo embedding o 155 600 000 parametrów jest zapisany dwa razy: 751 600 000 elementów tensora wobec 596 000 000 unikalnych. Układ pochodzi z Qwen/Qwen3-0.6B, który z tego samego powodu podaje na Hubie 800 000 000.

Takie ujawnienie to cały argument za publikowaniem wag razem z dokumentacją. I jest to, dokładnie rzecz biorąc, nie kod źródłowy. Karta modelu podaje model bazowy, precyzję, oczekiwany kształt wejścia i licencję. Nie daje danych treningowych ani pełnej recepty.

Dlaczego etykiety znaczą mniej niż dostęp

Prompt Engineering zaproponował rozdzielenie słownictwa: „Open Weights” dla licencji obejmujących wagi sieci neuronowych i „Ethical Weights” dla osobnej kategorii licencji tworzonych specjalnie dla wag. Propozycja się szeroko nie przyjęła, a marketing nie zwolnił.

  • Otwarte wagi: parametry opublikowane, kod treningowy i dane zatrzymane, użycie i dostrajanie dozwolone.
  • Otwarte źródło: opublikowany kod architektury, metodyka treningu, hiperparametry, oryginalny zbiór danych i dokumentacja.
  • Wagi zastrzeżone: parametry dostępne tylko przy istotnych ograniczeniach prawnych lub etycznych.

Rozróżnienie ma skutek drugiego rzędu, który rzadko trafia do postów ogłaszających wydanie. Otwarte źródło wzmacnia zdecentralizowany postęp, jak to ujmuje Prompt Engineering, bo badacze na całym świecie mogą proponować ulepszenia i alternatywne kierunki rozwoju, zamiast zostawiać postęp w wąskim gardle niewielu firm zdolnych trenować ogromne modele zastrzeżone. Otwarte wagi raczej skupiają tę zdolność, rozdając przy tym artefakty.

Nic z tego nie znaczy, że wydania o otwartych wagach są bezwartościowe. Badanie zapamiętywania istnieje, bo nie są. Ale pobierany checkpoint to licencja na korzystanie z modelu, nie na jego zrozumienie, a większość obecnego sporu o otwartość AI rozgrywa się właśnie w luce między tymi dwiema rzeczami.

Komentarze 0

Źródła

3
  1. 01Openness in Language Models: Open Source vs Open Weights vs Restricted WeightsEN
  2. 02Extracting memorized pieces of (copyrighted) books from open-weight language modelsEN
  3. 03S1-mini, Superwhisper's first open-weights language modelEN

Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.

Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.

Marta Zielińska

Marta Zielińska

AI, modele i technologie

Marta Zielińska pisze o technologiach, AI i modelach oraz mediach i internecie, opierając się na dokumentacji, preprintach i danych z API, a nie na zapowiedziach producentów. Przy każdej publikacji sprawdza karty modeli, parametry treningowe i benchmarki, a liczby porównuje z niezależnymi testami i wynikami z repozytoriów. Rozmawia z badaczami i inżynierami, czeka na kolejne wydania modeli i zestawia ich działanie z wcześniejszymi wersjami. Prywatnie drukuje w 3D, naprawia stare komputery i sprawdza, jak modele uczą się na śmieciach z internetu. Nie publikuje wyników, których nie może odtworzyć na własnym sprzęcie.

Redakcja →

Komentarze

0
  1. Brak komentarzy — bądź pierwszy.

Dodaj komentarz

Komentarze są widoczne publicznie. Nie publikujemy wulgaryzmów, spamu i treści reklamowych.