Przejdź do treści
Czas na świecieEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal o AI i technologiiwydarzenia · analizy · wywiady · tło techniczne

Szukaj
NA ŻYWO
›

OpenAI twierdzi, że przerwało kampanię destylacji powiązaną z Moonshot AI

OpenAI twierdzi, że przerwało skoordynowaną kampanię wydobywania chronionego rozumowania ze swoich modeli. Główny klaster aktywności przypisuje osobom związanym z Moonshot AI, twórcą Kimi. Najwcześniejsze działania zaczęły się 1 lipca.

AI i modeleNewsMarta ZielińskaOpublikowano: 4 października 20266 min czytaniaŹródła 9
OpenAI twierdzi, że przerwało kampanię destylacji powiązaną z Moonshot AI

OpenAI opisało kampanię na swojej stronie 4 października. Firma twierdzi, że operatorzy nie złamali szyfrowania, nie przejęli bazy danych ani nie uzyskali bezpośredniego dostępu do zapisanych rozmów użytkowników. Doprowadzili natomiast do tego, że modele odtwarzały chronione rozumowanie w widocznym wyniku, na dużą skalę, łamiąc warunki korzystania z usługi.

To rozróżnienie ma znaczenie dla każdego, kto buduje narzędzia bezpieczeństwa na modelach z czołówki. Powierzchnią ataku był ślad rozumowania samego produktu, nie serwerownia. OpenAI opisuje te działania jako zgodne z wrogą destylacją. To znaczy systematyczne wykorzystywanie wyników jednego modelu do trenowania, odtwarzania lub ulepszania innego.

Chronologia podana przez firmę jest nietypowo dokładna. Działania zaczęły się 1 lipca i miały małą skalę. Skoki wolumenu przyszły 24 i 25 lipca: 16 000 zapytań według wzorca wydobywania od ponad 4 000 użytkowników. Szerszy klaster ponad 15 000 użytkowników z podobnymi wzorcami promptów został całkowicie zablokowany do 28 lipca, podaje OpenAI.

Jedna technika zwraca uwagę. OpenAI twierdzi, że operatorzy kopiowali zaszyfrowane rozumowanie z jednej rozmowy i prosili model w innej rozmowie o odszyfrowanie i przepisanie ukrytej treści. Jeśli to działa, praktyczna bariera między finalną odpowiedzią modelu a jego wewnętrzną pracą jest cieńsza, niż sądzą klienci. OpenAI twierdzi, że wdrożyło od tego czasu zabezpieczenia i podzieliło się szczegółami z partnerami branżowymi przez Frontier Model Forum.

Dlaczego ślad rozumowania warto ukraść

Chronione rozumowanie to wewnętrzny zapis pracy modelu nad zadaniem. OpenAI przekonuje, że jego wydobycie może ujawnić informacje pominięte w finalnej odpowiedzi. Dokładnie taki materiał jest potrzebny konkurentowi, żeby odtworzyć możliwości. Firma ostrzega też, że model destylowany może nie przenosić zabezpieczeń zastosowanych wobec widocznych odpowiedzi oryginału. W skali destylacja przyspiesza transfer możliwości bez porównywalnych inwestycji w bezpieczeństwo.

OpenAI przyznaje, że nie wie, czy wszyscy operatorzy z tego okresu to jeden aktor. Główny klaster przypisuje osobom związanym z Moonshot AI. Moonshot nie odpowiedział publicznie w tekście OpenAI, a tekst nie mówi, czy firma kontaktowała się z nim przed publikacją. Żadna ze stron nie ujawniła kroków prawnych.

Ujawnienie wpisuje się w schemat, w którym laboratoria publikują opisy incydentów dopiero po wdrożeniu zabezpieczeń. OpenAI twierdzi, że zbadało skalę, wdrożyło poprawki i zebrało opinie badaczy oraz partnerów branżowych, zanim podało sprawę publicznie. Niezależni badacze bezpieczeństwa zgłosili też w ramach odpowiedzialnego ujawniania powiązane podatności między modelami i przy kompresji rozmów. OpenAI potwierdziło, że te ścieżki ataku były realne.

Dla kupujących produkty bezpieczeństwa AI wniosek jest węższy niż nagłówek. To nie było klasyczne włamanie ze skradzionym poświadczeniem. To nadużycie legalnego interfejsu, powtórzone tyle razy, że wyglądało jak atak.

Google zmienia menu modeli pod stopami użytkowników

Dostęp do modeli zmienia się w tym samym czasie. Według zaktualizowanego dokumentu pomocy Google, o którym 3 października napisało 9to5Google, użytkownicy aplikacji Gemini bez płatnej subskrypcji od 9 października będą ograniczeni do modelu 3.5 Flash-Lite. Tracą dostęp do 3.6 Flash i 3.1 Pro.

Subskrybenci AI Plus za 4,99 dol. miesięcznie dostaną tylko Flash-Lite i Flash, Pro znika. Google twierdzi, że ci użytkownicy otrzymają e-mail z informacją, kiedy zmiany wchodzą w życie. AI Pro za 19,99 dol. miesięcznie i AI Ultra za 99,99 lub 199,99 dol. miesięcznie zachowują dostęp do wszystkich trzech modeli. Klienci AI Pro zyskują też opcję Deep Think do maksymalnego równoległego rozumowania, wcześniej dostępną tylko w planach Ultra.

THE DECODER podał 4 października, że układ przypomina model freemium OpenAI dla ChatGPT, gdzie darmowy plan ograniczono do najmniejszego modelu. Serwis zauważył też, że Google może szykować się na Gemini 4 Argon, który może być droższy w utrzymaniu. 9to5Google podało, że Argon najpierw trafi do subskrybentów AI Ultra. Podało również, że Google nie powiedziało, czy Argon liczy się jako model Pro, czy stoi w warstwie ponad nim.

Zmiana ma wymiar bezpieczeństwa, który łatwo przeoczyć. Zespoły, które zbudowały wewnętrzne narzędzia na tym modelu, który akurat serwowało okno czatu, po 9 października mogą wylądować na Flash-Lite. Prompty dostrojone pod Pro zachowają się inaczej, a o zmianie domyślnego modelu nikt nie wysyła powiadomienia o migracji.

Google przygotowuje też na październik poziomy wysiłku, niski, średni i wysoki, dla każdego dostępnego modelu, według 9to5Google. Wyższy wysiłek daje dokładniejsze odpowiedzi i zużywa więcej limitu użytkownika. To szczegół rozliczeniowy w równym stopniu co produktowy.

Anthropic pyta najpierw i zostawia przełącznik wyłączony

Anthropic zaczął prosić użytkowników Claude'a o dobrowolne udostępnianie rozmów głosowych do trenowania modeli, podał BleepingComputer 4 października. Komunikat pojawia się, gdy ktoś korzysta z funkcji głosowych Claude'a. Prosi o zgodę na użycie audio do ulepszania modeli firmy.

Ustawienie jest domyślnie wyłączone, wynika z interfejsu, który widział BleepingComputer. Użytkownik może wybrać „Allow” albo „Not now”, zmienić przełącznik później w „Settings”, „Privacy” i usunąć dane głosowe po fakcie. Trenowanie na głosie jest oddzielone od istniejącej opcji trenowania na czatach i sesjach kodowania, więc te dwa wybory ustawia się niezależnie.

To rozdzielenie jest tu najciekawsze. Można oddać nagrania głosowe, zostawiając zwykłe czaty i sesje Claude Code poza treningiem, albo odwrotnie. Anthropic nie podał, ile osób się zgodziło, a raport nie podaje, ile danych głosowych firma ma.

Małe modele, lokalne maszyny i audyt CVE

Zespoły bezpieczeństwa, które nie mogą wysyłać danych do hostowanego API, mają teraz więcej opcji lokalnych. Jerry Gamblin, który zasiada w grupach roboczych Quality, Automation i Consumer programu CVE, uruchomił modele Clef Cloudflare lokalnie przez Ollama 0.35.1. Zadał dwa pytania wszystkim 27 489 CVE opublikowanym w 60 dni do 3 października: czy opis podaje skutek bezpieczeństwa i czy jest jasny dla obrońcy.

Wyniki, opublikowane na jego blogu 4 października, przekładają znajomą skargę na liczby. Poza jądrem Linuksa 989 z 23 736 opisów, czyli 4,2%, nigdy nie mówi, co atakujący mógłby zrobić. Jądro to osobny przypadek: jego opublikowana polityka zostawia ocenę skutku użytkownikowi, więc 3 661 z jego 3 753 rekordów nie podaje żadnego. To podnosi wynik dla wszystkich CVE do 4 650 z 27 489, czyli 16,9%.

Clef Flash, model 9 mld, odpowiadał na oba pytania w medianie poniżej sekundy na CVE na laptopie, bez klucza API. Flash okazał się zbyt surowy sam z siebie, więc większy model Clef 27 mld przeczytał ponownie wszystko, co oznaczył poza jądrem, i uchylił 1 198 z 2 187 oznaczeń, czyli 54,8%. Na 129 CVE oznaczonych ręcznie przez Gamblina dwuetapowe podejście wyłapało 15 z 16 uznanych przez niego za takie, które nie podają skutku, i nie oznaczyło ani jednego z tych, które sam uznał za mające wpływ. Oba modele są na licencji Apache 2.0 i dostrojone z modeli Qwen, pisze.

Gamblin zaznacza, że nic w jego tekście nie jest stanowiskiem programu CVE. Audyt to weekendowy projekt jednego badacza, nie ustalenie regulatora. Mierzy jakość opisów, a nie to, czy błąd da się wykorzystać.

Tekst OpenAI stawia pokrewną tezę: destylacja i wydobywanie rozumowania to nie podatności właściwe tylko jego modelom. Firma twierdzi, że podobne techniki mogą dotyczyć innych zaawansowanych systemów, a to czyni koordynację między laboratoriami częścią obrony.

Komentarze 0

Źródła

9
  1. 01Disrupting a coordinated model-distillation campaignEN
  2. 02Gemini app limiting what models free and AI Plus users can accessEN
  3. 03Google's new Gemini tiers cut free users to its weakest model and lock $5/month subscribers out of ProEN
  4. 04Anthropic asks Claude users to share voice data for AI model trainingEN
  5. 05Decision Models vs. CVE DataEN
  6. 06OpenAI's latest features take direct aim at the app store modelEN
  7. 07Ideogram 4.5: The most precise edit modelEN
  8. 08No Model Required: Text Entropy Rate Filtering Mitigates Iterative Fine-Tuning CollapseEN
  9. 09Language Model "Shape"EN

Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.

Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.

Marta Zielińska

Marta Zielińska

AI, modele i technologie

Marta Zielińska pisze o technologiach, AI i modelach oraz mediach i internecie, opierając się na dokumentacji, preprintach i danych z API, a nie na zapowiedziach producentów. Przy każdej publikacji sprawdza karty modeli, parametry treningowe i benchmarki, a liczby porównuje z niezależnymi testami i wynikami z repozytoriów. Rozmawia z badaczami i inżynierami, czeka na kolejne wydania modeli i zestawia ich działanie z wcześniejszymi wersjami. Prywatnie drukuje w 3D, naprawia stare komputery i sprawdza, jak modele uczą się na śmieciach z internetu. Nie publikuje wyników, których nie może odtworzyć na własnym sprzęcie.

Redakcja →

Komentarze

0
  1. Brak komentarzy — bądź pierwszy.

Dodaj komentarz

Komentarze są widoczne publicznie. Nie publikujemy wulgaryzmów, spamu i treści reklamowych.