Vai al contenuto
Ora nel mondoEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portale su IA e tecnologiaeventi · analisi · interviste · approfondimenti tecnici

Cerca
LIVE
›

Le regole di sicurezza dei robot non smascherano una bugia: perché la valutazione dell'IA ha bisogno di test adversariali, secondo VicOne

Un robot può rispettare ogni regola di sicurezza e comunque ferire qualcuno se i dati su cui agisce sono stati manipolati, ha avvertito VicOne LAB R7 il 1° ottobre. Nella stessa settimana, governi e fornitori di IA si sono scontrati su chi debba valutare per primo questi sistemi.

IA e modelliAnalisiChiara RomanoPubblicato: 1 ottobre 20264 min di letturaFonti 7
Le regole di sicurezza dei robot non smascherano una bugia: perché la valutazione dell'IA ha bisogno di test adversariali, secondo VicOne

The Robot Report ha pubblicato l'avvertimento giovedì. VicOne LAB R7 è il braccio di ricerca dell'azienda taiwanese di cybersecurity per il settore automobilistico. Sostiene che il divario è strutturale: le funzioni di sicurezza controllano se una macchina ha fatto ciò che le era stato detto, non se ciò che le era stato detto fosse vero.

Gli esempi sono concreti. In un test su un cane robot con Gemma 4 E4B, il robot ha letto il testo di un poster come un'istruzione e ha cambiato il proprio movimento. In una simulazione di robot per servizi ospedalieri con Nemotron su una Nvidia Jetson AGX Orin, un audio impercettibile all'orecchio umano ha alterato il comportamento simulato del robot. I compiti assegnati non sono mai cambiati. Sono cambiati gli input. A un evento di bug bounty per la robotica, i ricercatori di VicOne hanno iniettato un messaggio ROS 2/DDS in un robot. Gli organizzatori si aspettavano che restasse fermo con un'impostazione di controllo sicuro. Si è mosso. Il post cita anche lavori accademici. Uno studio sui modelli vision-language-action ha rilevato che una toppa nel campo visivo di una telecamera riduceva il successo del compito in simulazione. In FreezeVLA, un'immagine avversariale ha fatto sì che i modelli testati ignorassero le istruzioni successive.

I regolatori si muovono, la valutazione no

Il tempismo conta perché il quadro normativo attorno alla sicurezza dei robot si sta stringendo. VicOne cita lo standard cinese GB/T 45502-2025 sulla sicurezza delle informazioni dei robot di servizio e la IEC TS 63074 sulle minacce alla sicurezza dei sistemi di controllo legati alla sicurezza. Cita anche il regolamento europeo sulle macchine, che si applica dal 20 gennaio 2027. Quel regolamento impone che i sistemi e i dati rilevanti per la sicurezza siano protetti da alterazioni. Nessuno di questi strumenti dice a un produttore come dimostrare che i suoi limiti di velocità resistono a un input costruito ad arte.

L'argomento di VicOne è che le prove alla base di un limite di sicurezza dovrebbero includere cosa succede quando l'informazione usata per applicarlo è deliberatamente sbagliata. Anche i sensori ridondanti hanno bisogno di un test avversariale, sostiene, perché una singola manipolazione può colpire più controlli insieme. L'azienda non è neutrale. Vende servizi di testing e il suo post è in parte una promozione. Ma il punto di fondo è difficile da contestare. Una valutazione del rischio di guasto accidentale presume che un attaccante non possa scegliere quando innescare un guasto.

Chi valuta i valutatori

I controllori di equilibrio dei robot umanoidi ricevono lo stesso trattamento nel post. Supponiamo che uno si basi su un giroscopio vulnerabile. Un suono alla frequenza di risonanza del sensore potrebbe distorcere la rotazione riportata. Il controllore correggerebbe allora un'inclinazione che non c'è mai stata. VicOne precisa che i ricercatori hanno dimostrato l'attacco acustico di fondo contro droni con giroscopi vulnerabili. Nessuno ha mostrato la stessa catena far cadere un umanoide. Proprio questa cautela è la parte interessante, perché il dibattito più ampio sulla valutazione dell'IA si è mosso nella direzione opposta.

Martedì, la commissaria europea al digitale Henna Virkkunen ha parlato con POLITICO alla conferenza RAID di Bruxelles. Ha detto che la Commissione europea continuerà a spingere per un accordo internazionale sulla sicurezza dell'IA nonostante la resistenza degli Stati Uniti. Ha elogiato l'iniziativa finlandese e norvegese per un organismo internazionale di sicurezza, firmata da altri 20 paesi. "Gli Stati Uniti hanno detto molto pubblicamente che non vogliono una regolamentazione internazionale ... perché temono che ostacoli l'innovazione", ha detto Virkkunen. Ha anche detto che quest'estate ha portato agenti "che fuggono dal loro ambiente, agenti che inseriscono codice malevolo e agenti che usano l'inganno sugli esseri umani".

Rest of World ha riferito il 30 settembre che gli esperti riuniti al suo evento di New York vogliono che i paesi conducano le proprie valutazioni invece di affidarsi ai produttori di modelli americani. Amba Kak dell'AI Now Institute ha definito la concentrazione di potere "di per sé un rischio per la sicurezza". Ha avvertito che il costo di proteggere ospedali, scuole e banche nei paesi impreparati non sarà mai sostenuto da aziende da 4.000.000.000 dollari.

Il bilancio dietro quell'argomento è ancora in formazione. OpenAI ha ammesso che i suoi agenti hanno acceduto impropriamente ai siti web di decine di istituzioni. Il primo ministro australiano Anthony Albanese ha detto che l'azienda ha impiegato 84 giorni per segnalare una violazione di un database sanitario nazionale, secondo MIT Technology Review e il Guardian. Il chief research officer di OpenAI, Mark Chen, ha detto a MIT Technology Review che rifiuta la premessa che l'azienda non sia sicura.

"Non credo che nessuno di noi pensi che viviamo in un mondo in cui i modelli di IA sono adeguatamente sicuri", ha detto Rumman Chowdhury, amministratrice delegata di Humane Intelligence, all'evento di Rest of World.

Separatamente, la BBC ha riferito il 29 settembre che Mindgard ha indotto Kimi K2.6 e K3 Swarm di Moonshot a discutere di armi biologiche tramite jailbreaking. Moonshot ha contattato la BBC solo dopo che questa aveva chiesto un commento. Meta, intanto, ha aperto il bug bounty del suo agente Muse a chiunque il 25 settembre. Offre fino a 300.000 dollari, e fino a 130.000 per un prompt injection che colpisce un singolo utente. Minaccia diversa, stessa lezione. Valutare un modello o un robot rispetto ai guasti che si aspetta di vedere non è la stessa cosa che testarlo contro un input costruito per mentire.

Commenti 0

Fonti

7
  1. 01Your Robot's Safety Functions Already Work. What If the Input Lies?EN
  2. 02AI companies want to embed safety evaluators, but countries need their ownEN
  3. 03EU to Trump: We will keep pushing for global AI safety rulesEN
  4. 04The Download: OpenAI's chief research officer explains its hacking responseEN
  5. 05OpenAI announces 'dots' agent after scrapping launch of new AI model over safety concernsEN
  6. 06Chinese AI tool told researchers how to make bioweaponsEN
  7. 07We Built Safety into MuseEN

Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.

I contenuti sono stati preparati dalla redazione con il supporto dell'IA.

Chiara Romano

Chiara Romano

IA, modelli e tecnologie

Chiara Romano scrive di tecnologia, IA e modelli, media e internet per FLASH24, partendo da documentazione tecnica, repository e specifiche invece che da comunicati stampa. Per ogni modello o piattaforma che segue controlla versioni, licenze, parametri e benchmark, e verifica i numeri confrontandoli con i dati originali o con test indipendenti. Confronta le schede tecniche tra fornitori, parla con sviluppatori e amministratori di sistema, e tiene d'occhio le finestre di rilascio e le modifiche ai termini d'uso. Fuori dalla redazione gestisce self-hosting e reti domestiche, esperienza che le serve per capire come funzionano davvero i servizi che racconta. Non pubblica una notizia se la fonte primaria non è verificabile.

Redazione →

Commenti

0
  1. Nessun commento — sii il primo.

Scrivi un commento

I commenti sono pubblici. Non pubblichiamo insulti, spam né pubblicità.