OpenAI: powiązani z Moonshot próbowali wydobyć ukryte rozumowanie modeli
OpenAI twierdzi, że przerwało skoordynowaną kampanię, której celem było wyciągnięcie chronionego rozumowania z jego modeli. Firma wiąże trzon tej aktywności z osobami związanymi z chińskim Moonshot AI. Wpis na blogu z 1 października podaje, że liczba żądań sięgnęła szczytu 16 000 w ciągu dwóch dni, od ponad 4 000 użytkowników.

Relacja OpenAI jest na tyle konkretna, że można ją sprawdzić. Aktywność zaczęła się 1 lipca, "początkowo na niewielką skalę", jak podaje wpis firmy na blogu. Potem, 24 i 25 lipca, skoczyła do 16 000 żądań wykorzystujących odpowiedni wzorzec ekstrakcji, wysłanych przez ponad 4 000 użytkowników. Szersze spojrzenie wykazało powiązaną aktywność opartą na wzorcach promptów na ponad 15 000 kontach. OpenAI podaje, że kampanię udało się całkowicie przerwać do 28 lipca. Przypis mówi, że chodziło o próby ekstrakcji, niekoniecznie udane. Firma nie ujawniła, które modele były celem.
Operatorzy nie włamali się do bazy danych.
"Operatorzy nie złamali naszego szyfrowania, nie przełamali zabezpieczeń bazy danych ani nie uzyskali bezpośredniego dostępu do zapisanych rozmów użytkowników", cytuje wpis The Register. Zamiast tego manipulowali interakcjami z modelem tak, żeby chronione rozumowanie dało się odtworzyć w formie widocznej dla pytającego. OpenAI definiuje chronione rozumowanie jako wewnętrzny zapis modelu z pracy nad zadaniem. Technikę nazywa "adversarial distillation": systematycznym i nieautoryzowanym użyciem wyników lub rozumowania jednego modelu do trenowania albo ulepszania drugiego.
Wyrocznia deszyfrująca
Mechanizm ma znaczenie, bo to on przetrwał poprawkę OpenAI. Dostawcy odsyłają rozumowanie klientom jako zaszyfrowane pakiety danych. Klienci przekazują je z powrotem w kolejnych żądaniach, żeby dostawca nie musiał przechowywać łańcucha myśli. Badacz Joachim Schaeffer ze swoim zespołem pokazał, że te pakiety są szyfrowane kluczami współdzielonymi. Można je więc przenosić między sesjami, między użytkownikami, a nawet między różnymi modelami tego samego dostawcy. Słabszy i tańszy model z tej samej rodziny może wtedy działać jak wyrocznia deszyfrująca. Wypisuje ukryte myśli mocniejszego modelu słowo w słowo. OpenAI wymienia badaczy z nazwiska i podaje, że potwierdziło realność opisanych ścieżek ataku.
OpenAI twierdzi, że od tamtej pory zbanowało fałszywe konta i zaostrzyło rejestrację. Zamknęło ścieżkę, która pozwalała komuś odtworzyć i odczytać zaszyfrowane rozumowanie należące do kogoś innego. Filtruje też strumieniowane wyniki i wstrzymuje je, jeśli mogłyby ujawnić rozumowanie. Ustalenia przekazało przez Frontier Model Forum i kanały rządowe. CNBC podało, że firma twierdzi, iż operatorzy nie złamali jej szyfrowania, baz danych ani zapisanych rozmów użytkowników. Moonshot nie odpowiedział od razu na prośbę CNBC o komentarz. The Register też się zwrócił i nie dostał natychmiastowej odpowiedzi, a pytanie do OpenAI o to, które modele były celem, zostało bez odpowiedzi.
Tego samego dnia badacze opublikowali aktualizację. "Ukradliśmy rozumowanie. Znowu", napisał Schaeffer na X, według THE DECODER. Jego argument: zabezpieczenie własnego API nie zabezpiecza szerszego ekosystemu dostawców chmury, którzy też sprzedają dostęp do tych modeli. Zespół stwierdził, że sztuczka działała jeszcze przez tygodnie na platformach, w tym na Microsoft Azure.
To niewygodny ciąg dalszy. OpenAI może zamknąć własną dziurę. Nie może jednostronnie zamknąć dziury u pośrednika.
Tło i dlaczego oprawa ma znaczenie
Oskarżenie trafia na zatłoczone pole. Tom's Hardware zauważa, że OpenAI nie ma pewności, czy wszyscy zaobserwowani operatorzy to jeden aktor. Wpis nie wyjaśniał skuteczności ani tego, ilu użytkowników było powiązanych z Moonshot. Kilka tygodni wcześniej Anthropic oskarżył kilku chińskich twórców AI, w tym Moonshot AI i Alibaba, o potajemne używanie Claude do trenowania własnych systemów, podaje CNBC. The Register dodaje, że pod koniec lipca Michael Kratsios, asystent Trumpa ds. nauki i technologii, oskarżył Moonshot o stworzenie modelu Kimi K3 przez destylację Anthropicowego Fable.
Argument OpenAI jest taki, że wydobyte rozumowanie mogłoby trenować inny model bez zachowania zabezpieczeń stosowanych wobec wyników oryginalnego modelu widocznych dla użytkownika. W dużej skali destylacja może, zdaniem firmy, przyspieszyć transfer zaawansowanych zdolności bez takiego samego nakładu w bezpieczeństwo. Ujęcie The Register jest ostrzejsze: amerykańscy twórcy modeli mogą trenować na danych z sieci, ale destylowanie ich modeli to ryzyko dla bezpieczeństwa narodowego. Redakcja stawia ten konflikt w nagłówku i go nie rozstrzyga.
W dużej mierze ta historia dotyczy kontroli, nie zdolności. 30 września prokurator generalny Florydy James Uthmeier złożył wniosek o tymczasowy zakaz wobec pięciu podmiotów OpenAI i osobiście Sama Altmana. Wniosek prosi sąd o zakazanie firmie rozwijania modeli AI bez niezależnych zewnętrznych zabezpieczeń i zatwierdzenia, obok innych żądań, według Tom's Hardware. Wniosek jest częścią pozwu złożonego w czerwcu w hrabstwie Highlands. Osobny pozew organizacji non-profit w sprawie włamania na Hugging Face przekonuje, że "zrobiła to AI" nie jest obroną, jak podało Ars Technica. FTC wszczęła szerokie śledztwo wobec OpenAI, Anthropic i innych laboratoriów w sprawie ochrony konsumentów, według THE DECODER.
Na przekór temu otwarte wagi płyną dalej. TechCrunch podał 1 października, że AWS wydało Strands Decider 2 000 000 000, otwartoźródłowy model decyzyjny inspirowany Jev od TypeSafe, wystarczająco mały, by działać lokalnie. Inżynier Amazonii Marc Brooker zbudował pierwszą wersję sam, a ta na krótko zajęła pierwsze miejsce w rankingu Jevbench dla modeli tej wielkości. Cloudflare opublikowało własne modele decyzyjne, Clef i Clef-flash, na licencji Apache 2.0 na swoim blogu. Twierdzi, że Clef prowadzi w Jev Decision Index i że sklasyfikowanie domeny zajęło 2,2 sekundy wobec 4,7 sekundy dla gpt-oss-120 w tym samym przepływie pracy. Repozytorium Context Language Models Meta podaje o 11,4% wyższą dokładność przy 21,5% mniejszej liczbie FLOPs na BrowseComp-Plus, gdy modele zarządzają kontekstem jak plikiem. Nawet droga wolontariacka działa. Coop to model o około 145 000 000 parametrów wytrenowany od zera na FineWeb-Edu. Współtwórcy zgłaszają pseudo-gradienty jako pull requesty na Hugging Face, a agreguje je bezstanowe zadanie cron w GitHub Actions.
To nie są dwie osobne historie. Tanie, lokalnie uruchamialne modele na otwartych licencjach są dokładnie tym, co czyni destylację atrakcyjną. Są też dokładnie tym, co utrudnia jej pilnowanie. OpenAI może wskazać aktora i zbanować konta. Sztuczka z zaszyfrowanym rozumowaniem, jak pokazuje aktualizacja badaczy, podróżuje.
Zapytane o kampanię, OpenAI zostawia w swoim wpisie oczywiste pytania bez odpowiedzi. Ile z ponad 15 000 kont prowadziło do Moonshot? Które modele wyciekły rozumowanie? Jak wiele z tego, co wyszło, dało się wykorzystać? Dopóki tych liczb nie ma, najmocniejsze weryfikowalne twierdzenie jest węższe niż nagłówki. W lipcu doszło do skoordynowanej próby ekstrakcji, była duża i została zatrzymana na API jednego dostawcy. Nie wszędzie.
Źródła
12- 01OpenAI says it stopped a campaign to steal its models' reasoning, but the trick still worked on AzureEN
- 02OpenAI says actors linked to China-based Moonshot AI spearheaded a campaign to extract its models' hidden reasoningEN
- 03AI race heats up as OpenAI flags alleged model-copying campaignEN
- 04Irony alert: OpenAI whines that Chinese model stole its special IP that it stole from everybody elseEN
- 05Florida attorney general asks judge to bar OpenAI from developing new AI models without third-party approvalEN
- 06"An AI did it" is no defense, says nonprofit suing OpenAI over Hugging Face hackEN
- 07FTC launches sweeping probe into OpenAI, Anthropic, and other AI labs over consumer protection concernsEN
- 08Amazon releases its own Jev clone as decision models flood the webEN
- 09Clef: our open-source decision modelsEN
- 10Context Language Models (CLMs)EN
- 11Coop: A small language model pretrained by volunteersEN
- 12Google rolls out new Gemini AI model but restricts access over safety concernsEN
Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.
Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.
Komentarze
0- Brak komentarzy — bądź pierwszy.