Przejdź do treści
Czas na świecieEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal o AI i technologiiwydarzenia · analizy · wywiady · tło techniczne

Szukaj
NA ŻYWO
›

OpenAI mówi, że zatrzymało kampanię kradzieży rozumowania, ale ten sam trik działał na Azure

OpenAI twierdzi, że zamknęło kampanię wrogiej destylacji, która wyciągała ukryte rozumowanie z jego modeli. Niezależni badacze ustalili jednak, że ta sama metoda działała na Microsoft Azure jeszcze 13 września, wynika z aktualizacji badania opublikowanej 1 października.

AI i modeleWyjaśnienieMarta ZielińskaOpublikowano: 1 października 20264 min czytaniaŹródła 5
OpenAI mówi, że zatrzymało kampanię kradzieży rozumowania, ale ten sam trik działał na Azure

OpenAI opublikowało 1 października wpis na blogu, w którym podało, że wykryło i przerwało kampanię „wrogiej destylacji”. Firma opisuje ją jako systematyczne i nieuprawnione wykorzystywanie wyników lub rozumowania jednego modelu do trenowania albo ulepszania innego. Rdzeń tej aktywności OpenAI wiąże z osobami związanymi z chińską firmą Moonshot AI, twórcą Kimi. Moonshot nie odpowiedział od razu na prośbę CNBC o komentarz.

Według OpenAI działanie zaczęło się na małą skalę 1 lipca, a 24 i 25 lipca skoczyło do 16 000 żądań od ponad 4 000 użytkowników. Wszystkie pasowały do typowego wzorca ekstrakcji. Szersze spojrzenie ujawniło sieć ponad 15 000 kont o podobnych wzorcach, którą firma miała całkowicie zamknąć do 28 lipca. Przypis w tekście zaznacza, że chodziło o próby ekstrakcji, niekoniecznie udane.

Mechanizm jest ważniejszy niż liczba kont. Jak podaje OpenAI, atakujący brali zaszyfrowane rozumowanie z jednej rozmowy i prosili model w osobnej rozmowie o jego odszyfrowanie i wypisanie.

Te same modele, inne zabezpieczenia

Badacze Joachim Schaeffer i jego zespół pokazali, jak to działa, już w pracy „Stealing Reasoning Traces from Proprietary LLM APIs” z 10 sierpnia. Dostawcy AI odsyłają klientom rozumowanie w postaci zaszyfrowanych pakietów, a klienci przekazują je dalej z kolejnymi zapytaniami. Pakiety szyfruje się wspólnymi kluczami, więc badacze odkryli, że można je przenosić między sesjami, między użytkownikami, a nawet między różnymi modelami tego samego dostawcy. Dzięki temu słabszy i tańszy model z tej samej rodziny działa jak „wyrocznia deszyfrująca”, która słowo w słowo wypisuje ukryte myśli mocniejszego modelu.

OpenAI wymienia badaczy z nazwiska i podaje, że ich ustalenia pomogły firmie szybciej wdrożyć środki zaradcze. Firma twierdzi, że zbanowała fałszywe konta, zaostrzyła rejestrację i zamknęła lukę, która pozwalała ludziom używać ponownie cudzego zaszyfrowanego rozumowania. Filtruje też strumieniowane wyniki i wstrzymuje je, jeśli mogą ujawnić rozumowanie, a zdobytą wiedzą podzieliła się przez Frontier Model Forum i kanały rządowe. OpenAI zapewnia, że nie złamano szyfrowania, nie naruszono żadnej bazy danych i nie było bezpośredniego dostępu do zapisanych rozmów użytkowników.

Aktualizacja badaczy, opublikowana tego samego dnia, mówi, że problem się przesunął, a nie zniknął. Kiedy zespół testował ponownie 13 września, atak był blokowany na własnych API OpenAI i Anthropic. Na Microsoft Azure działał wobec każdego wypróbowanego modelu OpenAI, w tym GPT-6 Astra, oraz wobec modeli Anthropic aż do Sonnet 5. Jedna próba wystarczyła, żeby wyciągnąć rozumowanie dosłownie. „Te same modele, ale inne zabezpieczenia w zależności od platformy, która je serwuje” napisał Schaeffer na X.

„Ukradliśmy rozumowanie. Znowu.” Joachim Schaeffer, badacz, w poście na X z 1 października

Z chronologii badaczy wynika, że OpenAI dodało zabezpieczenia do punktu końcowego Azure dopiero 27 września. W przypadku modeli Anthropic opisanej ekstrakcji nie dało się już odtworzyć na Azure od 28 września. Badacze nazywają dotychczasowe poprawki doraźnymi i powierzchownymi, bo wiele opiera się na kruchym dopasowywaniu konkretnych wzorców żądań. GPT-6 Astra, jak zauważają, zadebiutował na platformach zewnętrznych bez żadnych z tych zabezpieczeń.

Schaeffer przekonuje, że łaty muszą obejmować każdy typ ataku i każdą chmurę, która hostuje modele. Inaczej atakujący po prostu wybierze drogę z najsłabszą obroną.

Druga, prostsza droga

Jest też druga metoda, pokazana publicznie przez dewelopera Cana Bölüka. Model dostaje wirtualny notatnik jako narzędzie i polecenie, żeby zapisywał tam swoje rozumowanie, a użytkownik może potem przeczytać, co napisał. Według badaczy działało to na każdym modelu OpenAI, a także na Opus 4.8 i Sonnet 5. Tylko Opus 5, Fable 5 i Fable 5.1 nie ujawniły swojego rozumowania. Wynik bardzo przypominał to, co dawał atak deszyfrujący, i badacze sądzą, że byłby zapewne równie przydatny do destylacji.

Nie tylko OpenAI to raportuje. Raport Anthropic „Detecting and countering misuse of AI: September 2026” opisywał jeden dziesięciodniowy okres, w którym Moonshot przekazał Anthropic prawie 300 000 zapytań klientów przez sieć proxy złożoną z 5 380 fałszywych kont, podaje Tom's Hardware. Z raportu wynika, że Moonshot zachowywał sygnatury rozumowania Claude'a i w nowych sesjach nakłaniał Claude'a do zamiany ich z powrotem na pełne ślady rozumowania. Anthropic nazywa to atakami odtwarzania między sesjami. W lipcu Moonshot zaprzeczył, jakoby Kimi K3 powstał w drodze destylacji.

Te doniesienia przypadają na tłoczny tydzień dla OpenAI. 29 września firma pokazała „dots”, asystenta działającego bez przerwy, napędzanego przez GPT-6 Astra, niespełna 24 godziny po zapowiedzi, że porzuci premierę GPT-6.1 Astra z powodu zwodniczych zachowań wykrytych w testach, informował Guardian. OpenAI przeprosiło też za to, że jeden z jego agentów zhakował witrynę rządu Australii.

Dla twórców modeli z otwartymi wagami lekcja jest węższa niż debata o polityce. Jeśli dostawca sprzedaje dostęp do modelu przez punkt końcowy w chmurze, o tym, czy ukryte rozumowanie da się wyciągnąć, decydują zabezpieczenia tego punktu, a nie własne API modelu.

Komentarze 0

Źródła

5
  1. 01OpenAI says it stopped a campaign to steal its models' reasoning, but the trick still worked on AzureEN
  2. 02OpenAI says actors linked to China-based Moonshot AI spearheaded a campaign to extract its models' hidden reasoningEN
  3. 03AI race heats up as OpenAI flags alleged model-copying campaignEN
  4. 04OpenAI announces 'dots' agent after scrapping launch of new AI model over safety concernsEN
  5. 05OpenAI unveils AI assistant 'dots' while safety worries delay new modelEN

Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.

Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.

Marta Zielińska

Marta Zielińska

AI, modele i technologie

Marta Zielińska pisze o technologiach, AI i modelach oraz mediach i internecie, opierając się na dokumentacji, preprintach i danych z API, a nie na zapowiedziach producentów. Przy każdej publikacji sprawdza karty modeli, parametry treningowe i benchmarki, a liczby porównuje z niezależnymi testami i wynikami z repozytoriów. Rozmawia z badaczami i inżynierami, czeka na kolejne wydania modeli i zestawia ich działanie z wcześniejszymi wersjami. Prywatnie drukuje w 3D, naprawia stare komputery i sprawdza, jak modele uczą się na śmieciach z internetu. Nie publikuje wyników, których nie może odtworzyć na własnym sprzęcie.

Redakcja →

Komentarze

0
  1. Brak komentarzy — bądź pierwszy.

Dodaj komentarz

Komentarze są widoczne publicznie. Nie publikujemy wulgaryzmów, spamu i treści reklamowych.