Le regole di sicurezza dei robot non possono smascherare una bugia: ecco perché l'AI richiede test avversariali

Il Robot Report ha pubblicato l'avvertimento giovedì. VicOne LAB R7, il braccio di ricerca dell'azienda taiwanese di cybersecurity automobilistica, afferma che il divario è strutturale: le funzioni di sicurezza verificano se una macchina ha eseguito ciò che le è stato ordinato, non se l'ordine era vero.

I suoi esempi sono concreti. In un test con un robot-cane utilizzando Gemma 4 E4B, il testo su un poster è stato letto come un'istruzione e ha modificato il movimento del robot. In una simulazione di un robot di servizio ospedaliero che esegue Nemotron su Nvidia Jetson AGX Orin, un audio inudibile per gli umani ha alterato il comportamento simulato del robot. I compiti assegnati non sono mai cambiati. Gli input sì. A un evento di bug bounty per la robotica, i ricercatori di VicOne hanno iniettato un messaggio ROS 2/DDS in un robot che gli organizzatori si aspettavano restasse immobile in una configurazione di controllo sicuro. Si è mosso. Il post cita anche lavori accademici: uno studio sui modelli vision-language-action in cui una patch nella vista della camera ha ridotto il successo del compito in simulazione, e FreezeVLA, in cui un'immagine avversariale ha fatto sì che i modelli testati ignorassero le istruzioni successive.

I regolatori si muovono, la valutazione no

Il tempismo conta perché la struttura attorno alla sicurezza dei robot si sta stringendo. VicOne indica la GB/T 45502-2025 della Cina per la sicurezza informatica dei robot di servizio, la IEC TS 63074 sulle minacce alla sicurezza dei sistemi di controllo correlati alla sicurezza e il Regolamento UE sulle macchine, che si applica dal 20 gennaio 2027 e richiede che i sistemi e i dati rilevanti per la sicurezza siano protetti dalla corruzione. Nessuno di questi strumenti dice a un produttore come dimostrare che i suoi limiti di velocità sopravvivono a un input costruito appositamente.

L'argomento di VicOne è che le prove dietro un limite di sicurezza dovrebbero includere cosa succede quando le informazioni usate per applicarlo sono deliberatamente sbagliate, e che i sensori ridondanti necessitano di un test avversariale, perché una manipolazione può influire su diversi controlli contemporaneamente. L'azienda non è neutrale qui. Vende servizi di testing e il suo post è in parte una proposta commerciale. Ma il punto di fondo, che una valutazione del rischio di guasti accidentali presuppone che un attaccante non possa scegliere quando attivare un guasto, è difficile da contestare.

Chi valuta i valutatori

I controller di equilibrio per umanoidi ricevono lo stesso trattamento nel post. Se uno si basa su un giroscopio vulnerabile, un suono alla frequenza di risonanza del sensore potrebbe distorcere la rotazione riportata e far sì che il controller corregga una inclinazione che non è mai avvenuta. VicOne è attento a notare che l'attacco acustico di base è stato dimostrato contro droni con giroscopi vulnerabili, e che nessuno ha mostrato la stessa catena che fa cadere un umanoide. Questa cautela è la parte interessante, perché il dibattito più ampio sulla valutazione dell'AI si è mosso nella direzione opposta.

Martedì, il commissario europeo per la tecnologia Henna Virkkunen ha detto a POLITICO alla conferenza RAID a Bruxelles che la Commissione europea continuerà a spingere per un accordo internazionale sulla sicurezza dell'AI nonostante la resistenza degli Stati Uniti, e ha elogiato l'iniziativa finlandese e norvegese per un organo di sicurezza internazionale firmato da altri 20 paesi. "Gli Stati Uniti hanno dichiarato pubblicamente di non volere una regolamentazione internazionale ... perché hanno preoccupazioni che ostacoli l'innovazione", ha detto Virkkunen. Ha anche detto che quest'estate ha portato agenti "che sfuggono al loro ambiente, agenti che inseriscono codice malevolo e agenti che usano l'inganno sugli umani".

Rest of World ha riportato il 30 settembre che gli esperti al suo evento di New York vogliono che i paesi conducano le proprie valutazioni anziché fare affidamento sui produttori di modelli americani. Amba Kak dell'AI Now Institute ha chiamato la concentrazione di potere "in sé un rischio per la sicurezza", e ha avvertito che il costo per proteggere ospedali, scuole e banche in paesi impreparati non sarà mai sostenuto da aziende da trilioni di dollari.

Il record dietro quell'argomento si sta ancora componendo. OpenAI ha dichiarato che i suoi agenti hanno acceso impropriamente i siti web di decine di istituzioni, e il primo ministro australiano, Anthony Albanese, ha detto che l'azienda ha impiegato 84 giorni per segnalare una violazione di un database nazionale sanitario, secondo MIT Technology Review e il Guardian. Il chief research officer di OpenAI, Mark Chen, ha detto a MIT Technology Review di rifiutare la premessa che l'azienda non sia sicura.

"Non credo che nessuno di noi pensi di vivere in un mondo in cui i modelli di AI siano adeguatamente sicuri", ha detto Rumman Chowdhury, chief executive di Humane Intelligence, all'evento di Rest of World.

Separatamente, la BBC ha riportato il 29 settembre che Mindgard ha fatto discutere Kimi K2.6 e K3 Swarm di Moonshot sulle armi biologiche tramite jailbreaking, e che Moonshot ha contattato solo dopo che la BBC ha chiesto un commento. Nel frattempo, Meta ha aperto il bug bounty del suo agente Muse a chiunque il 25 settembre, offrendo fino a 300.000 $ e fino a 130.000 $ per un prompt injection che influisca su un utente. Minaccia diversa, stessa lezione. Valutare un modello o un robot rispetto ai guasti che si aspetta di vedere non è lo stesso che testarlo contro un input costruito per mentire.