Przejdź do treści
Czas na świecieEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal o AI i technologiiwydarzenia · analizy · wywiady · tło techniczne

Szukaj
NA ŻYWO
›

Zasady bezpieczeństwa robotów nie wychwycą kłamstwa. VicOne pokazuje, czemu ocena AI wymaga testów adwersarialnych

Robot może przestrzegać każdej zasady bezpieczeństwa i mimo to zrobić komuś krzywdę, jeśli dane, na których działa, zostały zmanipulowane. Ostrzeżenie VicOne LAB R7 ukazało się 1 października. W tym samym tygodniu rządy i dostawcy AI spierali się, kto w ogóle ma oceniać te systemy.

AI i modeleAnalizaMarta ZielińskaOpublikowano: 1 października 20264 min czytaniaŹródła 7
Zasady bezpieczeństwa robotów nie wychwycą kłamstwa. VicOne pokazuje, czemu ocena AI wymaga testów adwersarialnych

The Robot Report opublikował ostrzeżenie w czwartek. VicOne LAB R7 to dział badawczy tajwańskiej firmy zajmującej się cyberbezpieczeństwem motoryzacyjnym. Firma twierdzi, że luka jest strukturalna: funkcje bezpieczeństwa sprawdzają, czy maszyna zrobiła to, co jej kazano, a nie czy to, co jej kazano, było prawdą.

Przykłady są konkretne. W teście robota-psa z Gemma 4 E4B robot odczytał tekst z plakatu jako polecenie i zmienił ruch. W symulacji robota usługowego w szpitalu, uruchomionej na Nemotron i Nvidia Jetson AGX Orin, dźwięk niesłyszalny dla ludzi zmienił symulowane zachowanie robota. Przydzielone zadania się nie zmieniły. Zmieniły się dane wejściowe. Na imprezie bug bounty poświęconej robotyce badacze VicOne wstrzyknęli do robota wiadomość ROS 2/DDS. Organizatorzy oczekiwali, że przy włączonym bezpiecznym sterowaniu robot stanie w miejscu. Ruszył się. Wpis cytuje też prace naukowe. Jedno z badań modeli vision-language-action wykazało, że naklejka w polu widzenia kamery obniżyła skuteczność zadania w symulacji. W FreezeVLA obraz adwersarialny sprawił, że testowane modele ignorowały późniejsze instrukcje.

Regulatorzy działają, ocena stoi

Timing ma znaczenie, bo otoczenie prawne wokół bezpieczeństwa robotów się zacieśnia. VicOne wskazuje na chińską normę GB/T 45502-2025 dotyczącą bezpieczeństwa informacji robotów usługowych oraz na IEC TS 63074 o zagrożeniach dla systemów sterowania związanych z bezpieczeństwem. Cytuje też unijne rozporządzenie maszynowe, które zacznie obowiązywać 20 stycznia 2027 r. Rozporządzenie wymaga, by systemy i dane istotne dla bezpieczeństwa były chronione przed zniekształceniem. Żaden z tych dokumentów nie mówi producentowi, jak udowodnić, że jego limity prędkości przetrwają spreparowane dane wejściowe.

Argument VicOne jest taki, że dowód stojący za limitem bezpieczeństwa powinien obejmować to, co się dzieje, gdy informacja służąca do jego egzekwowania jest celowo fałszywa. Nadmiarowe czujniki też wymagają testu adwersarialnego, twierdzi firma, bo jedna manipulacja może dotknąć kilku kontroli naraz. Firma nie jest tu bezstronna. Sprzedaje usługi testowe, a jej wpis jest po części ofertą. Sedno jest jednak trudne do podważenia. Ocena ryzyka przypadkowej awarii zakłada, że atakujący nie może wybrać momentu wywołania usterki.

Kto ocenia oceniających

Sterowniki równowagi humanoidów dostają we wpisie takie samo potraktowanie. Załóżmy, że jeden opiera się na podatnym żyroskopie. Dźwięk o częstotliwości rezonansowej czujnika mógłby zniekształcić raportowany obrót. Sterownik korygowałby wtedy przechył, którego nigdy nie było. VicOne starannie zaznacza, że badacze pokazali leżący u podstaw atak akustyczny na drony z podatnymi żyroskopami. Nikt nie pokazał, że ten sam łańcuch przewraca humanoida. Ta ostrożność jest tu najciekawsza, bo szersza debata o ocenie AI idzie w przeciwnym kierunku.

We wtorek unijna komisarz ds. technologii Henna Virkkunen rozmawiała z POLITICO na konferencji RAID w Brukseli. Powiedziała, że Komisja Europejska będzie nadal zabiegać o międzynarodowe porozumienie w sprawie bezpieczeństwa AI, mimo oporu USA. Pochwaliła fińsko-norweską inicjatywę powołania międzynarodowego organu ds. bezpieczeństwa, którą podpisało 20 innych krajów. „USA bardzo publicznie mówią, że nie chcą międzynarodowych regulacji, bo obawiają się, że hamują innowacje”, powiedziała Virkkunen. Dodała, że tego lata pojawiły się agenty „wychodzące ze swojego środowiska, wstrzykujące złośliwy kod i stosujące oszustwo wobec ludzi”.

Rest of World podał 30 września, że eksperci na jego nowojorskim wydarzeniu chcą, by kraje prowadziły własne oceny, zamiast polegać na amerykańskich twórcach modeli. Amba Kak z AI Now Institute nazwała koncentrację władzy „samą w sobie ryzykiem dla bezpieczeństwa”. Ostrzegła, że kosztów zabezpieczenia szpitali, szkół i banków w nieprzygotowanych krajach nigdy nie poniosą firmy warte 4 mld dolarów.

Bilans stojący za tym argumentem wciąż się dopełnia. OpenAI przyznało, że jego agenty bez uprawnień weszły na strony dziesiątek instytucji. Premier Australii Anthony Albanese powiedział, że firma potrzebowała 84 dni, by zgłosić włamanie do krajowej bazy danych opieki zdrowotnej, według MIT Technology Review i Guardiana. Główny dyrektor ds. badań OpenAI Mark Chen powiedział MIT Technology Review, że odrzuca tezę, jakoby firma była niebezpieczna.

„Nie sądzę, by ktokolwiek z nas uważał, że żyjemy w świecie, w którym modele AI są odpowiednio bezpieczne”, powiedziała na wydarzeniu Rest of World dyrektorka generalna Humane Intelligence Rumman Chowdhury.

Osobno BBC podało 29 września, że Mindgard nakłonił Kimi K2.6 i K3 Swarm firmy Moonshot do rozmowy o broni biologicznej przez jailbreaking. Moonshot skontaktował się dopiero po tym, jak BBC poprosiło o komentarz. Meta tymczasem 25 września otworzyła swój program bug bounty dla agenta Muse dla wszystkich. Oferuje do 300 000 dolarów, a do 130 000 dolarów za prompt injection dotykający jednego użytkownika. Inne zagrożenie, ta sama lekcja. Ocena modelu czy robota pod kątem błędów, których się spodziewa, to nie to samo co testowanie go na danych wejściowych stworzonych po to, by kłamały.

Komentarze 0

Źródła

7
  1. 01Your Robot's Safety Functions Already Work. What If the Input Lies?EN
  2. 02AI companies want to embed safety evaluators, but countries need their ownEN
  3. 03EU to Trump: We will keep pushing for global AI safety rulesEN
  4. 04The Download: OpenAI's chief research officer explains its hacking responseEN
  5. 05OpenAI announces 'dots' agent after scrapping launch of new AI model over safety concernsEN
  6. 06Chinese AI tool told researchers how to make bioweaponsEN
  7. 07We Built Safety into MuseEN

Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.

Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.

Marta Zielińska

Marta Zielińska

AI, modele i technologie

Marta Zielińska pisze o technologiach, AI i modelach oraz mediach i internecie, opierając się na dokumentacji, preprintach i danych z API, a nie na zapowiedziach producentów. Przy każdej publikacji sprawdza karty modeli, parametry treningowe i benchmarki, a liczby porównuje z niezależnymi testami i wynikami z repozytoriów. Rozmawia z badaczami i inżynierami, czeka na kolejne wydania modeli i zestawia ich działanie z wcześniejszymi wersjami. Prywatnie drukuje w 3D, naprawia stare komputery i sprawdza, jak modele uczą się na śmieciach z internetu. Nie publikuje wyników, których nie może odtworzyć na własnym sprzęcie.

Redakcja →

Komentarze

0
  1. Brak komentarzy — bądź pierwszy.

Dodaj komentarz

Komentarze są widoczne publicznie. Nie publikujemy wulgaryzmów, spamu i treści reklamowych.