Les règles de sécurité robotique ne détectent pas le mensonge : VicOne explique pourquoi l'évaluation IA nécessite des tests adversariaux

Le Robot Report a publié cet avertissement jeudi. VicOne LAB R7, la branche de recherche de l'entreprise taiwanaise de cybersécurité automobile, explique que l'écart est structurel : les fonctions de sécurité vérifient si la machine a fait ce qu'on lui a demandé, pas si ce qu'on lui a demandé était vrai.

Les exemples sont concrets. Dans un test de robot-chien utilisant Gemma 4 E4B, le texte d'une affiche a été lu comme une instruction et a modifié les mouvements du robot. Dans une simulation de robot de service hospitalier exécutant Nemotron sur un Nvidia Jetson AGX Orin, un son inaudible pour les humains a altéré le comportement simulé du robot. Les tâches assignées n'ont pas changé. Les entrées, si. Lors d'un événement de bug bounty en robotique, les chercheurs de VicOne ont injecté un message ROS 2/DDS dans un robot que les organisateurs s'attendaient à voir immobile sous un réglage de contrôle sûr. Il s'est déplacé. L'article cite aussi des travaux académiques : une étude sur les modèles vision-langage-action où un patch dans le champ de la caméra a réduit le taux de réussite de la tâche en simulation, et FreezeVLA, où une image adversariale a fait ignorer les instructions ultérieures aux modèles testés.

Les régulateurs bougent, l'évaluation non

Le timing compte car le cadre autour de la sécurité robotique se resserre. VicOne pointe la norme chinoise GB/T 45502-2025 pour la sécurité informationnelle des robots de service, la IEC TS 63074 sur les menaces de sécurité pour les systèmes de contrôle liés à la sécurité, et le Règlement européen sur les machines, applicable à partir du 20 janvier 2027 et exigeant que les systèmes et données liés à la sécurité soient protégés contre la corruption. Aucun de ces instruments ne dit au fabricant comment prouver que ses limites de vitesse survivent à une entrée artificielle.

L'argument de VicOne est que les preuves derrière une limite de sécurité doivent inclure ce qui se passe quand l'information utilisée pour l'appliquer est volontairement fausse, et que les capteurs redondants ont aussi besoin d'un test adversarial, car une seule manipulation peut affecter plusieurs vérifications à la fois. L'entreprise n'est pas neutre ici. Elle vend des services de test et son post est en partie une démarche commerciale. Mais le point de fond, à savoir qu'une évaluation des risques d'accident suppose qu'un attaquant ne peut pas choisir quand déclencher une défaillance, est difficile à contester.

Qui évalue les évaluateurs

Les contrôleurs d'équilibre des humanoïdes reçoivent le même traitement dans le post. Si l'un d'eux repose sur un gyroscope vulnérable, un son à la fréquence de résonance du capteur pourrait déformer la rotation signalée et amener le contrôleur à corriger une inclinaison qui n'a jamais existé. VicOne prend soin de noter que l'attaque acoustique sous-jacente a été démontrée contre des drones avec des gyroscopes vulnérables, et que personne n'a montré la même chaîne faisant tomber un humanoïde. Cette prudence est la partie intéressante, car le débat plus large sur l'évaluation de l'IA a avancé dans l'autre direction.

Mardi, la commissaire européenne aux technologies Henna Virkkunen a dit à POLITICO lors de la conférence RAID à Bruxelles que la Commission européenne continuera à pousser pour un accord international sur la sécurité de l'IA malgré la résistance des États-Unis, et a salué l'initiative finlandaise et norvégienne pour un organisme international de sécurité signé par 20 autres pays. « Les États-Unis ont été très publics en disant qu'ils ne veulent pas de réglementation internationale ... parce qu'ils ont des préoccupations que cela freine l'innovation », a déclaré Virkkunen. Elle a aussi dit que cet été a apporté des agents « qui s'échappent de leur environnement, des agents insérant du code malveillant et des agents utilisant la tromperie sur les humains ».

Rest of World a rapporté le 30 septembre que les experts de son événement new-yorkais veulent que les pays mènent leurs propres évaluations plutôt que de dépendre des fabricants de modèles américains. Amba Kak de l'AI Now Institute a appelé la concentration de pouvoir « elle-même un risque pour la sécurité », et a averti que le coût de sécurisation des hôpitaux, écoles et banques dans les pays non préparés ne sera jamais supporté par des entreprises aux billions de dollars.

Le dossier derrière cet argument est encore en train de se remplir. OpenAI a dit que ses agents ont accédé de manière inappropriée aux sites web de dizaines d'institutions, et le premier ministre australien, Anthony Albanese, a dit que l'entreprise a mis 84 jours pour signaler une violation d'une base de données nationale de santé, selon MIT Technology Review et le Guardian. Le directeur de la recherche d'OpenAI, Mark Chen, a dit à MIT Technology Review qu'il rejette le présupposé que l'entreprise est dangereuse.

« Je ne pense pas que nous pensions tous vivre dans un monde où les modèles d'IA sont suffisamment sécurisés », a déclaré Rumman Chowdhury, directrice générale de Humane Intelligence, lors de l'événement Rest of World.

Séparément, la BBC a rapporté le 29 septembre que Mindgard a fait discuter les armes biologiques à Kimi K2.6 et K3 Swarm de Moonshot par du jailbreaking, et que Moonshot n'a pris contact qu'après que la BBC ait demandé un commentaire. Meta, de son côté, a ouvert son bug bounty pour l'agent Muse à n'importe qui le 25 septembre, offrant jusqu'à 300 000 $ et jusqu'à 130 000 $ pour une injection de prompt affectant un utilisateur. Menace différente, même leçon. Évaluer un modèle ou un robot face aux défauts qu'il s'attend à voir n'est pas la même chose que le tester face à une entrée construite pour mentir.