Les patients du jeu d'entraînement sont faciles à identifier, et les audits de confidentialité ne le détectent pas
Des modèles d'IA médicale entraînés sur des dossiers de patients peuvent être interrogés pour révéler qui figure dans leurs données d'entraînement. Des chercheurs allemands rapportent un « succès quasi parfait » des attaques au niveau de chaque patient dans un article publié dans Nature le 24 juin.

Les attaques par inférence d'appartenance (MIA, membership inference attacks) consistent à demander à un modèle si un enregistrement précis faisait partie de son jeu d'entraînement. Selon The Register, qui a relayé les résultats le 24 juin, les modèles d'IA médicale discriminatifs y sont particulièrement exposés : ils sont entraînés à classer des données et deviennent mesurablement plus confiants sur celles qu'ils ont déjà vues.
Cette confiance est la fuite. L'équipe a analysé sept jeux de données d'IA médicale couvrant des images, des enregistrements d'ECG et des dossiers de santé électroniques généraux. Les patients visés par de telles attaques pouvaient être identifiés avec ce que l'article décrit comme un succès quasi parfait. Un résultat que les auteurs jugent invisible pour l'évaluation standard, car celle-ci mesure le taux de réussite global sur l'ensemble des enregistrements et non patient par patient.
Les cas atypiques sont les plus faciles à exposer
Les groupes sous-représentés dans une cohorte d'entraînement sont plus simples à repérer que les patients typiques. L'origine ethnique, la couverture d'assurance, le sexe, le protocole d'imagerie utilisé et certains états pathologiques peuvent tous jouer le rôle de cas atypiques.
De manière générale, les risques de confidentialité liés aux MIA s'aggravent à mesure que la cohorte d'entraînement d'un modèle devient plus spécifique.
C'est Moritz Knolle, titulaire de la chaire IA en santé et médecine à l'Université technique de Munich et directeur de l'article, qui le dit dans un échange d'e-mails avec The Register. Il cite l'exemple d'un modèle dont la liste d'appartenance révélerait qu'une personne porte une maladie génétique dormante comme la maladie de Huntington, qu'elle souffre de dépression, ou qu'elle a fréquenté une clinique spécialisée précise. Les jeux de données plus volumineux aggravaient les choses au lieu de les améliorer : l'article indique que l'ampleur du changement de risque au niveau du patient dans les modèles plus grands était jusqu'ici inconnue.
L'attaque exige aussi moins que ce que les chercheurs supposaient. Knolle a déclaré à The Register qu'un attaquant a normalement besoin d'accéder à un point de données cible, et que l'article montre qu'un accès partiel suffit. Des résultats d'analyses sanguines, ou une partie de ceux-ci, feraient l'affaire. Tous les jeux de données utilisés dans l'étude étaient anonymisés, et l'attaquant n'a pas besoin de savoir à qui appartiennent les données qu'il teste.
Obtenir ces données reste l'obstacle pratique, sans être très élevé. Knolle explique que, les données médicales n'étant pas toujours stockées de façon sécurisée, un accès non autorisé à la base d'un médecin généraliste après une prise de sang de routine n'est pas impensable.
Ce que les auteurs veulent voir changer
Les recommandations de l'article portent sur la procédure, pas sur des correctifs techniques apportés aux modèles eux-mêmes. L'équipe veut que les normes d'audit de confidentialité soient réécrites pour évaluer le risque au niveau individuel plutôt que des chiffres agrégés, et elle cite les cadres de confidentialité différentielle comme moyen d'offrir des garanties mathématiques que les données d'entraînement restent anonymes. Knolle suggère aussi de composer les données d'entraînement de façon à mieux représenter les groupes sous-représentés.
Les enjeux ne sont pas théoriques. Une autre étude, publiée dans JAMA Network Open en avril et relayée par The Register, a montré que 21 modèles d'IA prêts à l'emploi échouaient au diagnostic différentiel précoce dans plus de 8 cas sur 10, même si les modèles de tête atteignaient 91 pour cent de précision au diagnostic final. Marc Succi, radiologue au Massachusetts General Hospital et coauteur, estime que ces systèmes ne devraient pas être utilisés pour un raisonnement diagnostique destiné aux patients sans une revue humaine structurée et complète.
Knolle nuance le problème de confidentialité : dans de nombreuses situations, une attaque par inférence d'appartenance réussie représente une violation faible ou négligeable, à savoir lorsque les modèles sont entraînés sur de grandes populations générales comprenant à la fois des personnes saines et malades. La difficulté est que les résultats de l'article montrent que ce sont exactement les conditions dans lesquelles les protocoles d'audit présupposent la sécurité, et exactement celles que les auteurs disent mal mesurées.
Sources
2- 01Medical diagnosis AIs can be tricked into telling whose data trained themEN
- 02LLMs fail in 8 out of 10 early differential diagnosis casesEN
Tous les chiffres et citations de ce texte proviennent des sources citées ci-dessous.
Les contenus ont été préparés par l'équipe de rédaction, assistée par l'IA.
Commentaires
0- Aucun commentaire — soyez le premier.