Des modèles d'IA médicale trahissent quels patients les ont entraînés, selon une étude parue dans Nature
Des chercheurs allemands ont montré que les modèles d'IA utilisés pour aider au diagnostic peuvent être interrogés pour révéler si les données d'un patient donné ont fait partie de leur jeu d'entraînement. Ils décrivent un succès quasi parfait au niveau individuel.

Le résultat, publié dans une étude de Nature le mercredi 24 juin et rapporté le même jour par The Register, porte sur sept jeux de données d'IA médicale composés d'images, d'enregistrements d'ECG et de dossiers de santé électroniques généraux. L'équipe à l'origine des travaux affirme que les audits de confidentialité actuels passent à côté du risque : ils mesurent la réussite des attaques de manière agrégée et non patient par patient.
La classe d'attaque n'est pas nouvelle. Ce qui est nouveau, c'est son efficacité sur les modèles médicaux.
Les attaques par inférence d'appartenance (MIA, membership inference attacks) interrogent un modèle pour déterminer si une donnée précise figurait dans son jeu d'entraînement. Les modèles discriminants, ceux qui servent à classer des données et à faire des prédictions sur de nouvelles entrées, se prêtent particulièrement bien à ce type de sonde, selon les chercheurs. Dans leur analyse, les patients individuels visés par ces attaques pouvaient être identifiés avec ce que l'étude appelle un succès quasi parfait. Cela compte parce qu'une appartenance confirmée au jeu d'entraînement constitue en soi une divulgation. Si un modèle a été entraîné sur une cohorte d'une clinique spécialisée, prouver que le dossier d'une personne figure dans cette cohorte peut révéler un diagnostic qu'elle n'a jamais choisi de partager.
Les patients sous-représentés sont plus faciles à repérer
L'étude constate aussi que les patients qui sont des valeurs aberrantes dans un jeu d'entraînement sont plus faciles à identifier que les autres. La race, le statut d'assurance, le sexe, le protocole d'imagerie utilisé et certains états pathologiques peuvent tous jouer le rôle de valeurs aberrantes, selon les chercheurs.
Moritz Knolle, qui dirige la chaire IA en santé et en médecine à l'université technique de Munich et est premier auteur de l'étude, a résumé le compromis sans détour dans un échange de courriels avec The Register. « D'une manière générale, les risques pour la vie privée liés aux MIA deviennent plus graves à mesure que la cohorte d'entraînement d'un modèle devient plus spécifique », a-t-il déclaré. Il a donné un exemple : « On peut imaginer ... des scénarios où l'appartenance à un jeu de données d'entraînement révèle que quelqu'un a une maladie génétique dormante comme la maladie de Huntington, une dépression, ou qu'il a fréquenté une clinique de traitement spécifique et spécialisée. »
Les chercheurs signalent un autre effet, qui va dans le sens inverse. Les jeux de données plus volumineux rendent les dossiers plus faciles à exposer, pas plus difficiles, et l'étude indique que l'ampleur de ce déplacement du risque au niveau des patients n'avait pas été mesurée auparavant pour les grands modèles.
Ce dont un attaquant a réellement besoin
Rien de tout cela ne signifie qu'un inconnu peut pointer un modèle et en extraire des noms. Une MIA exige que l'attaquant détienne déjà une donnée qu'il veut tester. Knolle le confirme, tout en notant que l'étude réduit la quantité de données nécessaire.
« Pour mener une MIA, un attaquant doit avoir accès à une donnée cible », a-t-il déclaré à The Register. « Dans notre étude, nous montrons qu'un attaquant disposant d'un accès partiel peut toujours mener des MIA avec succès. »
Le mécanisme repose sur la confiance. Les IA médicales ont tendance à être plus sûres d'elles lorsque l'entrée figurait dans leur jeu d'entraînement ; l'attaquant soumet donc des données de patient obtenues par ailleurs, lit le niveau de confiance et en déduit l'inclusion. Knolle précise que l'attaquant n'a pas besoin de savoir à qui appartiennent les données. Tous les jeux de données utilisés dans l'étude étaient anonymisés, ajoute-t-il, ce qui ne protège pas contre ce type d'inférence. « L'attaquant aurait simplement besoin d'accéder aux résultats des analyses de sang de quelqu'un, ou à une partie de ces résultats » pour déduire l'inclusion, selon Knolle. Sur l'origine de ces données, il évoque une exposition courante plutôt qu'une intrusion sophistiquée : « Étant donné que les données médicales ne sont pas toujours stockées de manière sécurisée, il n'est pas impensable qu'un attaquant puisse y accéder, par exemple en obtenant un accès non autorisé à la base de données de votre médecin généraliste après une prise de sang de routine. »
Des recommandations, et une réserve
Les recommandations de l'équipe n'ont rien d'exotique. Elles veulent que des cadres de confidentialité différentielle soient utilisés là où le risque le justifie, que les normes d'audit de confidentialité soient réécrites pour évaluer le risque au niveau individuel plutôt qu'agrégé, et que les données d'entraînement soient constituées de façon à mieux représenter les groupes sous-représentés au lieu de les laisser comme valeurs aberrantes.
Knolle a formulé son objectif de manière étroite. « J'espère que la communauté de l'IA médicale commencera à prendre les risques pour la vie privée au sérieux et que des techniques d'atténuation des risques seront utilisées dans les situations où elles sont nécessaires », a-t-il déclaré. Il refuse aussi de traiter chaque attaque réussie comme un scandale. « Il existe de nombreuses situations où une MIA réussie représente une violation de la vie privée faible ou négligeable », note-t-il, en décrivant des modèles entraînés sur de grandes populations générales où figurent à la fois des individus sains et malades.
Le contexte réglementaire dans lequel s'inscrit l'étude est encombré mais pauvre en détails. Le reportage de The Register note que les normes de reporting des audits de confidentialité de l'IA doivent changer, ce qui interpelle autant les auditeurs et les revues que les fournisseurs. Rien dans l'étude ne propose un nouveau régime de certification, et aucun régulateur n'est cité comme ayant adopté ses recommandations.
Un second ensemble de travaux, distinct, pointe dans la même direction sous un autre angle : ces systèmes devraient-ils seulement poser des diagnostics ? Une étude menée par Arya Rao, étudiante en médecine à Harvard, publiée dans JAMA Network Open et couverte par The Register le 15 avril, a testé 21 modèles d'IA du commerce sur 29 vignettes cliniques standardisées. Les modèles donnaient la bonne réponse 91 pour cent du temps lorsqu'on leur fournissait un dossier complet d'informations et qu'on leur demandait un diagnostic final.
Le diagnostic différentiel précoce, l'étape où les cliniciens écartent et retiennent des hypothèses en pesant l'incertitude, échouait dans plus de 8 cas sur 10 selon la définition stricte de l'étude. « Tous les modèles que nous avons testés ont échoué sur la grande majorité des cas », a déclaré Rao à The Register. « C'est l'étape où l'incertitude compte le plus, et c'est là que ces systèmes sont les plus faibles. »
Rao met également en garde contre une lecture du taux d'échec comme un effondrement total. Mesurés en précision brute par cas, les modèles obtenaient entre 63 et 78 pour cent, ce qui, selon elle, suggère qu'ils avaient souvent partiellement raison. Le coauteur, le docteur Marc Succi, radiologue au Massachusetts General Hospital, estime que des scores plus élevés au diagnostic final ne doivent rassurer personne. « Le raisonnement clinique réel commence plus tôt, quand l'ambiguïté est à son maximum, et c'est exactement là qu'ils restent les plus faibles », a-t-il déclaré à The Register.
Mettez les deux études côte à côte et la question réglementaire se précise. Un modèle qui peut trahir qui l'a entraîné et qui rate encore la plupart des diagnostics différentiels précoces est proposé pour le triage de première ligne, et les audits qui servent à le valider ne mesurent ni l'un ni l'autre de ces risques à l'échelle où ils mordent.
Sources
2- 01Medical diagnosis AIs can be tricked into telling whose data trained themEN
- 02LLMs fail in 8 out of 10 early differential diagnosis casesEN
Tous les chiffres et citations de ce texte proviennent des sources citées ci-dessous.
Les contenus ont été préparés par l'équipe de rédaction, assistée par l'IA.
Commentaires
0- Aucun commentaire — soyez le premier.