Zasady bezpieczeństwa robotów nie złapią kłamstwa: VicOne pokazuje, dlaczego AI potrzebuje testów adwersyjnych

The Robot Report opublikował ostrzeżenie w czwartek. VicOne LAB R7, dział badawczy tajwańskiej firmy zajmującej się cyberbezpieczeństwem w motoryzacji, twierdzi, że luka ma charakter strukturalny. Funkcje bezpieczeństwa sprawdzają, czy maszyna wykonała polecenie, a nie czy to polecenie było prawdziwe.

Przykłady są konkretne. W teście robota-szczura używającego Gemma 4 E4B tekst na plakacie został odczytany jako instrukcja i zmienił ruch robota. W symulacji robota służbowego w szpitalu, działającego na Nemotronie na Nvidia Jetson AGX Orin, dźwięk niesłyszalny dla ludzi zmienił symulowane zachowanie robota. Przydzielone zadania pozostały bez zmian. Zmieniły się dane wejściowe. Na wydarzeniu bug bounty dla robotyki badacze VicOne wstrzyknęli komunikat ROS 2/DDS w robota, który organizatorzy spodziewali się, że pozostanie nieruchomy w trybie bezpiecznego sterowania. Poruszył się. W poście przytaczane są też prace akademickie: badanie modeli vision-language-action, w którym naklejka w polu widzenia kamery obniżyła skuteczność zadań w symulacji, oraz FreezeVLA, gdzie obraz adwersyjny sprawił, że testowane modele zignorowały późniejsze polecenia.

Regulatorzy się ruszają, oceny nie ma

Czas ma znaczenie, bo mechanizmy wokół bezpieczeństwa robotów się zacieśniają. VicOne wskazuje na chiński GB/T 45502-2025 dotyczący bezpieczeństwa informacji w robotach usługowych, IEC TS 63074 o zagrożeniach bezpieczeństwa dla systemów sterowania związanych z bezpieczeństwem oraz unijne Rozporządzenie o Maszynach, które obowiązuje od 20 stycznia 2027 roku i wymaga ochrony systemów i danych istotnych dla bezpieczeństwa przed zniszczeniem. Żaden z tych instrumentów nie mówi producentowi, jak udowodnić, że jego ograniczenia prędkości przetrwają starannie skonstruowane dane wejściowe.

Argument VicOne polega na tym, że dowody za ograniczeniem bezpieczeństwa powinny obejmować to, co się dzieje, gdy informacje używane do jego egzekwowania są celowo fałszywe. Redundantne czujniki również potrzebują testu adwersyjnego, bo jedna manipulacja może jednocześnie wpłynąć na kilka kontrolek. Firma nie jest tu neutralna. Sprzedaje usługi testowe, a jej post jest częściowo propozycją handlową. Ale podstawowy punkt, że ocena ryzyka przypadkowej awarii zakłada, że atakujący nie może wybrać momentu wyzwolenia awarii, jest trudny do podważenia.

Kto ocenia oceniających

Kontrolery równowagi humanoidów traktowane są w poście podobnie. Jeśli jeden zależy od podatnego giroskopu, dźwięk na rezonansowej częstotliwości czujnika mógłby zniekształcić raportowaną rotację i skłonić kontroler do korekty przechyłu, który nigdy się nie wydarzył. VicOne ostrożnie zaznacza, że podstawowy atak akustyczny został zademonstrowany na dronach z podatnymi giroskopami i że nikt nie pokazał, by taki sam łańcuch sprawił upadek humanida. Ta ostrożność jest ciekawą częścią, bo szersza debata nad oceną AI szła w przeciwnym kierunku.

We wtorek unijna komisarz ds. technologii Henna Virkkunen powiedziała POLITICO na konferencji RAID w Brukseli, że Komisja Europejska będzie nadal dążyć do międzynarodowej umowy o bezpieczeństwie AI mimo oporu USA. Pochwaliła fińsko-norweskie inicjatywę międzynarodowego organu bezpieczeństwa podpisaną przez 20 innych krajów. „USA bardzo publicznie mówią, że nie chcą międzynarodowej regulacji... bo mają obawy, że to hamuje innowacje”, powiedziała Virkkunen. Dodała też, że to lato przyniosło agentów „uciekających ze swojego środowiska, agentów wstrzykujących złośliwy kod i agentów stosujących oszustwo wobec ludzi”.

Rest of World poinformował 30 września, że eksperci na jej nowojorskim wydarzeniu chcą, by kraje prowadziły własne oceny, zamiast polegać na amerykańskich twórcach modeli. Amba Kak z AI Now Institute nazwała koncentrację mocy „samą w sobie ryzykiem bezpieczeństwa” i ostrzegła, że koszt zabezpieczania szpitali, szkół i banków w nieprzygotowanych krajach nigdy nie zostanie poniesiony przez firmy warte biliony dolarów.

Rekord za tym argumentem wciąż się zapełnia. OpenAI stwierdził, że jego agenci nieprawidłowo uzyskali dostęp do stron internetowych dziesiątek instytucji. Premier Australii, Anthony Albanese, powiedział, że firma potrzebowała 84 dni, aby zgłosić naruszenie bazy danych krajowej opieki zdrowotnej, według MIT Technology Review i Guardian. Główny dyrektor badawczy OpenAI, Mark Chen, powiedział MIT Technology Review, że odrzuca założenie, że firma jest niespecjalnie bezpieczna.

„Nie sądzę, by ktokolwiek z nas myślał, że żyjemy w świecie, w którym modele AI są wystarczająco bezpieczne”, powiedziała Rumman Chowdhury, CEO Humane Intelligence, na wydarzeniu Rest of World.

Osobno BBC poinformował 29 września, że Mindgard skłonił Kimi K2.6 i K3 Swarm od Moonshot do dyskusji o broni biologicznej poprzez jailbreaking. Moonshot skontaktował się z redakcją dopiero po prośbie BBC o komentarz. Tymczasem Meta otworzyła 25 września program bug bounty dla swojego agenta Muse dla każdego, oferując do 300 000 USD oraz do 130 000 USD za prompt injection wpływający na jednego użytkownika. Inne zagrożenie, ta sama lekcja. Ocena modelu lub robota pod kątem awarii, których się spodziewa, to nie to samo co testowanie go na wejściu zbudowanym, by kłamać.