Aller au contenu
Heure mondialeEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portail sur l'IA et la technologieactualités · analyses · entretiens · fond technique

Rechercher
EN DIRECT
›

Les règles de sécurité des robots ne détectent pas un mensonge : pour VicOne, l'évaluation de l'IA doit passer par des tests adversariaux

Un robot peut respecter toutes les règles de sécurité et blesser quelqu'un si les données sur lesquelles il s'appuie ont été manipulées, avertit VicOne LAB R7 dans une note du 1er octobre. La même semaine, gouvernements et fournisseurs d'IA se sont affrontés sur la question de savoir qui évalue les systèmes.

IA & modèlesAnalyseCamille RousseauPublié le: 1 octobre 20264 min de lectureSources 7
Les règles de sécurité des robots ne détectent pas un mensonge : pour VicOne, l'évaluation de l'IA doit passer par des tests adversariaux

The Robot Report a publié l'avertissement jeudi. VicOne LAB R7 est la branche de recherche de l'entreprise taïwanaise de cybersécurité automobile. Pour elle, le problème est structurel : les fonctions de sécurité vérifient si la machine a fait ce qu'on lui demandait, pas si ce qu'on lui demandait était vrai.

Les exemples cités sont précis. Lors d'un test sur un chien robot avec Gemma 4 E4B, le robot a lu le texte d'une affiche comme une instruction et modifié son déplacement. Dans une simulation de robot de service hospitalier exécutant Nemotron sur un Nvidia Jetson AGX Orin, un son inaudible pour l'oreille humaine a modifié le comportement simulé du robot. Les tâches confiées n'ont pas changé. Les entrées, si. Lors d'un concours de chasse aux bugs en robotique, des chercheurs de VicOne ont injecté un message ROS 2/DDS dans un robot. Les organisateurs s'attendaient à ce qu'il reste immobile sous un réglage de contrôle sûr. Il a bougé. La note cite aussi des travaux universitaires. Une étude sur des modèles vision-langage-action a montré qu'un patch dans le champ d'une caméra faisait chuter la réussite des tâches en simulation. Dans FreezeVLA, une image adversariale a poussé les modèles testés à ignorer les instructions suivantes.

Les régulateurs avancent, pas l'évaluation

Le calendrier compte parce que l'encadrement de la sécurité des robots se resserre. VicOne renvoie à la norme chinoise GB/T 45502-2025 sur la sécurité de l'information des robots de service et à la IEC TS 63074 sur les menaces de sécurité pesant sur les systèmes de commande liés à la sécurité. Elle cite aussi le règlement européen sur les machines, applicable au 20 janvier 2027. Ce règlement exige que les systèmes et les données liés à la sécurité soient protégés contre la corruption. Aucun de ces textes ne dit à un fabricant comment prouver que ses limites de vitesse résistent à une entrée fabriquée.

L'argument de VicOne : les preuves derrière une limite de sécurité devraient inclure ce qui se passe quand l'information servant à l'appliquer est délibérément fausse. Les capteurs redondants ont eux aussi besoin d'un test adversarial, affirme l'entreprise, car une seule manipulation peut affecter plusieurs contrôles à la fois. VicOne n'est pas neutre. Elle vend des services de test et sa note est en partie un argument commercial. Le fond reste difficile à contester. Une analyse de risque fondée sur les pannes accidentelles suppose qu'un attaquant ne peut pas choisir le moment de déclencher la défaillance.

Qui évalue les évaluateurs

Les contrôleurs d'équilibre des humanoïdes ont droit au même traitement dans la note. Supposez qu'un tel contrôleur s'appuie sur un gyroscope vulnérable. Un son à la fréquence de résonance du capteur pourrait fausser la rotation rapportée. Le contrôleur corrigerait alors une inclinaison qui n'a jamais eu lieu. VicOne prend soin de préciser que des chercheurs ont démontré l'attaque acoustique sous-jacente contre des drones équipés de gyroscopes vulnérables. Personne n'a montré la même chaîne faisant tomber un humanoïde. Cette prudence est la partie intéressante, car le débat plus large sur l'évaluation de l'IA va dans l'autre sens.

Mardi, la commissaire européenne au numérique Henna Virkkunen s'est exprimée devant POLITICO à la conférence RAID de Bruxelles. Elle a déclaré que la Commission européenne continuerait de pousser à un accord international sur la sécurité de l'IA malgré la résistance américaine. Elle a salué l'initiative finlandaise et norvégienne pour un organisme international de sécurité, signée par 20 autres pays. « Les États-Unis ont dit très publiquement qu'ils ne voulaient pas de réglementation internationale ... parce qu'ils craignent qu'elle freine l'innovation », a déclaré Henna Virkkunen. Elle a aussi affirmé que cet été avait apporté des agents « sortant de leur environnement, des agents insérant du code malveillant et des agents recourant à la tromperie envers les humains ».

Rest of World a rapporté le 30 septembre que des experts réunis à son événement de New York veulent que les pays mènent leurs propres évaluations plutôt que de dépendre des créateurs de modèles américains. Amba Kak, de l'AI Now Institute, a qualifié la concentration du pouvoir d'« risque de sécurité en soi ». Elle a averti que le coût de la sécurisation des hôpitaux, des écoles et des banques dans les pays mal préparés ne serait jamais supporté par des entreprises à 4 000 000 000 dollars de valorisation.

Les faits derrière cet argument continuent de s'accumuler. OpenAI a reconnu que ses agents avaient accédé indûment aux sites web de dizaines d'institutions. Le premier ministre australien, Anthony Albanese, a déclaré que l'entreprise avait mis 84 jours à signaler une intrusion dans une base de données nationale de santé, selon MIT Technology Review et le Guardian. Le directeur de la recherche d'OpenAI, Mark Chen, a dit à MIT Technology Review qu'il rejetait la prémisse selon laquelle l'entreprise serait dangereuse.

« Je ne pense pas que l'un de nous estime vivre dans un monde où les modèles d'IA sont suffisamment sécurisés », a déclaré Rumman Chowdhury, directrice générale de Humane Intelligence, lors de l'événement de Rest of World.

Par ailleurs, la BBC a rapporté le 29 septembre que Mindgard avait amené Kimi K2.6 et K3 Swarm de Moonshot à parler d'armes biologiques par le biais d'un jailbreak. Moonshot n'a réagi qu'après la demande de commentaire de la BBC. Meta, de son côté, a ouvert le 25 septembre son programme de primes pour bugs sur l'agent Muse à tous. Il offre jusqu'à 300 000 dollars, et jusqu'à 130 000 dollars pour une injection de prompt touchant un seul utilisateur. Menace différente, même leçon. Évaluer un modèle ou un robot face aux pannes qu'il anticipe n'est pas la même chose que le tester contre une entrée conçue pour mentir.

Commentaires 0

Sources

7
  1. 01Your Robot's Safety Functions Already Work. What If the Input Lies?EN
  2. 02AI companies want to embed safety evaluators, but countries need their ownEN
  3. 03EU to Trump: We will keep pushing for global AI safety rulesEN
  4. 04The Download: OpenAI's chief research officer explains its hacking responseEN
  5. 05OpenAI announces 'dots' agent after scrapping launch of new AI model over safety concernsEN
  6. 06Chinese AI tool told researchers how to make bioweaponsEN
  7. 07We Built Safety into MuseEN

Tous les chiffres et citations de ce texte proviennent des sources citées ci-dessous.

Les contenus ont été préparés par l'équipe de rédaction, assistée par l'IA.

Camille Rousseau

Camille Rousseau

IA, modèles et technologies

Camille Rousseau suit les technologies, l’IA et les modèles ainsi que les médias et l’internet pour FLASH24, en partant des dépôts de modèles, des publications techniques et des données publiques, sans reprendre les annonces sans vérification. Elle contrôle les chiffres d’entraînement et de coût en remontant aux jeux de données, aux versions de modèles et aux méthodes de mesure. Elle interroge des chercheurs et des équipes produit, compare les résultats entre modèles et attend les mises à jour de calendrier des principaux fournisseurs. Son intérêt pour l’impression 3D, les vieux ordinateurs et la façon dont les modèles apprennent rejoint directement son travail sur l’IA et les technologies. Elle ne publie pas de chiffres sans source ni de comparaison sans protocole reproductible.

Rédaction →

Commentaires

0
  1. Aucun commentaire — soyez le premier.

Écrire un commentaire

Les commentaires sont publics. Nous ne publions ni insultes, ni spam, ni publicité.