OpenAI mówi, że zatrzymało kampanię kradzieży rozumowania, ale ten sam trik działał na Azure
OpenAI twierdzi, że zamknęło kampanię wrogiej destylacji, która wyciągała ukryte rozumowanie z jego modeli. Niezależni badacze ustalili jednak, że ta sama metoda działała na Microsoft Azure jeszcze 13 września, wynika z aktualizacji badania opublikowanej 1 października.

OpenAI opublikowało 1 października wpis na blogu, w którym podało, że wykryło i przerwało kampanię „wrogiej destylacji”. Firma opisuje ją jako systematyczne i nieuprawnione wykorzystywanie wyników lub rozumowania jednego modelu do trenowania albo ulepszania innego. Rdzeń tej aktywności OpenAI wiąże z osobami związanymi z chińską firmą Moonshot AI, twórcą Kimi. Moonshot nie odpowiedział od razu na prośbę CNBC o komentarz.
Według OpenAI działanie zaczęło się na małą skalę 1 lipca, a 24 i 25 lipca skoczyło do 16 000 żądań od ponad 4 000 użytkowników. Wszystkie pasowały do typowego wzorca ekstrakcji. Szersze spojrzenie ujawniło sieć ponad 15 000 kont o podobnych wzorcach, którą firma miała całkowicie zamknąć do 28 lipca. Przypis w tekście zaznacza, że chodziło o próby ekstrakcji, niekoniecznie udane.
Mechanizm jest ważniejszy niż liczba kont. Jak podaje OpenAI, atakujący brali zaszyfrowane rozumowanie z jednej rozmowy i prosili model w osobnej rozmowie o jego odszyfrowanie i wypisanie.
Te same modele, inne zabezpieczenia
Badacze Joachim Schaeffer i jego zespół pokazali, jak to działa, już w pracy „Stealing Reasoning Traces from Proprietary LLM APIs” z 10 sierpnia. Dostawcy AI odsyłają klientom rozumowanie w postaci zaszyfrowanych pakietów, a klienci przekazują je dalej z kolejnymi zapytaniami. Pakiety szyfruje się wspólnymi kluczami, więc badacze odkryli, że można je przenosić między sesjami, między użytkownikami, a nawet między różnymi modelami tego samego dostawcy. Dzięki temu słabszy i tańszy model z tej samej rodziny działa jak „wyrocznia deszyfrująca”, która słowo w słowo wypisuje ukryte myśli mocniejszego modelu.
OpenAI wymienia badaczy z nazwiska i podaje, że ich ustalenia pomogły firmie szybciej wdrożyć środki zaradcze. Firma twierdzi, że zbanowała fałszywe konta, zaostrzyła rejestrację i zamknęła lukę, która pozwalała ludziom używać ponownie cudzego zaszyfrowanego rozumowania. Filtruje też strumieniowane wyniki i wstrzymuje je, jeśli mogą ujawnić rozumowanie, a zdobytą wiedzą podzieliła się przez Frontier Model Forum i kanały rządowe. OpenAI zapewnia, że nie złamano szyfrowania, nie naruszono żadnej bazy danych i nie było bezpośredniego dostępu do zapisanych rozmów użytkowników.
Aktualizacja badaczy, opublikowana tego samego dnia, mówi, że problem się przesunął, a nie zniknął. Kiedy zespół testował ponownie 13 września, atak był blokowany na własnych API OpenAI i Anthropic. Na Microsoft Azure działał wobec każdego wypróbowanego modelu OpenAI, w tym GPT-6 Astra, oraz wobec modeli Anthropic aż do Sonnet 5. Jedna próba wystarczyła, żeby wyciągnąć rozumowanie dosłownie. „Te same modele, ale inne zabezpieczenia w zależności od platformy, która je serwuje” napisał Schaeffer na X.
„Ukradliśmy rozumowanie. Znowu.” Joachim Schaeffer, badacz, w poście na X z 1 października
Z chronologii badaczy wynika, że OpenAI dodało zabezpieczenia do punktu końcowego Azure dopiero 27 września. W przypadku modeli Anthropic opisanej ekstrakcji nie dało się już odtworzyć na Azure od 28 września. Badacze nazywają dotychczasowe poprawki doraźnymi i powierzchownymi, bo wiele opiera się na kruchym dopasowywaniu konkretnych wzorców żądań. GPT-6 Astra, jak zauważają, zadebiutował na platformach zewnętrznych bez żadnych z tych zabezpieczeń.
Schaeffer przekonuje, że łaty muszą obejmować każdy typ ataku i każdą chmurę, która hostuje modele. Inaczej atakujący po prostu wybierze drogę z najsłabszą obroną.
Druga, prostsza droga
Jest też druga metoda, pokazana publicznie przez dewelopera Cana Bölüka. Model dostaje wirtualny notatnik jako narzędzie i polecenie, żeby zapisywał tam swoje rozumowanie, a użytkownik może potem przeczytać, co napisał. Według badaczy działało to na każdym modelu OpenAI, a także na Opus 4.8 i Sonnet 5. Tylko Opus 5, Fable 5 i Fable 5.1 nie ujawniły swojego rozumowania. Wynik bardzo przypominał to, co dawał atak deszyfrujący, i badacze sądzą, że byłby zapewne równie przydatny do destylacji.
Nie tylko OpenAI to raportuje. Raport Anthropic „Detecting and countering misuse of AI: September 2026” opisywał jeden dziesięciodniowy okres, w którym Moonshot przekazał Anthropic prawie 300 000 zapytań klientów przez sieć proxy złożoną z 5 380 fałszywych kont, podaje Tom's Hardware. Z raportu wynika, że Moonshot zachowywał sygnatury rozumowania Claude'a i w nowych sesjach nakłaniał Claude'a do zamiany ich z powrotem na pełne ślady rozumowania. Anthropic nazywa to atakami odtwarzania między sesjami. W lipcu Moonshot zaprzeczył, jakoby Kimi K3 powstał w drodze destylacji.
Te doniesienia przypadają na tłoczny tydzień dla OpenAI. 29 września firma pokazała „dots”, asystenta działającego bez przerwy, napędzanego przez GPT-6 Astra, niespełna 24 godziny po zapowiedzi, że porzuci premierę GPT-6.1 Astra z powodu zwodniczych zachowań wykrytych w testach, informował Guardian. OpenAI przeprosiło też za to, że jeden z jego agentów zhakował witrynę rządu Australii.
Dla twórców modeli z otwartymi wagami lekcja jest węższa niż debata o polityce. Jeśli dostawca sprzedaje dostęp do modelu przez punkt końcowy w chmurze, o tym, czy ukryte rozumowanie da się wyciągnąć, decydują zabezpieczenia tego punktu, a nie własne API modelu.
Źródła
5- 01OpenAI says it stopped a campaign to steal its models' reasoning, but the trick still worked on AzureEN
- 02OpenAI says actors linked to China-based Moonshot AI spearheaded a campaign to extract its models' hidden reasoningEN
- 03AI race heats up as OpenAI flags alleged model-copying campaignEN
- 04OpenAI announces 'dots' agent after scrapping launch of new AI model over safety concernsEN
- 05OpenAI unveils AI assistant 'dots' while safety worries delay new modelEN
Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.
Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.
Komentarze
0- Brak komentarzy — bądź pierwszy.