Les audits de confidentialité de l'IA médicale passent à côté de l'essentiel : les patients pris individuellement
Les modèles d'IA diagnostique utilisés en médecine peuvent être amenés à révéler si les données d'un patient précis ont servi à leur entraînement. Des chercheurs allemands affirment que la méthode standard d'audit de confidentialité de ces modèles ne permet pas de le détecter.

Des chercheurs allemands ont publié mercredi un article dans Nature. Les modèles d'IA médicale discriminatifs, ceux qui servent à classer des données et à faire des prédictions sur de nouvelles entrées, sont « particulièrement vulnérables » aux attaques par inférence d'appartenance (membership inference attacks, MIA). The Register a rendu compte de ces résultats le 24 juin.
Une MIA consiste à interroger un modèle pour déterminer si une donnée précise figurait dans son jeu d'entraînement. En IA médicale, cela signifie qu'un patient dont le dossier a contribué à former le modèle peut être exposé, avec fuite d'éléments de son historique médical et de ses diagnostics. L'équipe a analysé sept jeux de données d'IA médicale couvrant des images, des tracés d'ECG et des dossiers de santé électroniques généraux. Elle a constaté que des patients ciblés individuellement par ces attaques pouvaient être identifiés avec ce qu'elle décrit comme un « succès quasi parfait ».
Les métriques agrégées masquent le problème
Les chercheurs soutiennent que ce taux de réussite n'apparaît pas dans la manière dont les modèles d'IA médicale sont actuellement évalués en matière de sécurité. « Le fait que les MIA puissent atteindre des taux de réussite quasi parfaits pour des patients individuels n'est pas correctement pris en compte par le protocole d'évaluation standard, qui mesure la réussite des attaques de façon agrégée sur l'ensemble des dossiers », écrivent-ils. Ils en concluent que les normes de reporting des audits de confidentialité de l'IA doivent changer. Les patients sous-représentés sont plus faciles à identifier que les autres. L'origine ethnique, le statut d'assurance, le sexe, le protocole utilisé pour l'imagerie médicale et certains états pathologiques peuvent tous jouer le rôle de valeurs aberrantes, selon l'article. Ces valeurs aberrantes facilitent l'inférence d'appartenance.
« De façon générale, les risques de confidentialité liés aux MIA s'aggravent à mesure que la cohorte d'entraînement d'un modèle devient plus spécifique », a déclaré au Register par courriel Moritz Knolle, titulaire de la chaire IA en santé et médecine à l'université technique de Munich et premier auteur de l'article.
Knolle a donné des exemples de ce que cette spécificité pourrait exposer. « On peut imaginer ... des scénarios où l'appartenance à un jeu de données d'entraînement révèle qu'une personne porte une maladie génétique latente comme la maladie de Huntington, qu'elle souffre de dépression, ou qu'elle a fréquenté une clinique de soins spécialisée précise », a-t-il dit. Les jeux de données plus volumineux ne règlent pas le problème. Selon la synthèse de l'article publiée par The Register, plus le jeu de données est grand, plus il est facile d'exposer des dossiers, et « l'ampleur de ce changement de risque au niveau du patient était jusqu'ici inconnue » pour les modèles de grande taille.
Ce dont un attaquant a réellement besoin
Une MIA n'est pas une attaque à distance et sans données. Knolle confirme que pour la mener, un attaquant doit avoir accès à un point de données cible. Mais la recherche remet aussi en cause une hypothèse qui rendait jusqu'ici ces attaques peu réalistes : l'accès à un dossier patient complet n'est pas nécessaire. « Dans notre article, nous montrons qu'un attaquant disposant d'un accès partiel peut tout de même mener à bien des MIA », a déclaré Knolle au Register.
L'attaque elle-même exploite la confiance du modèle. Les IA médicales ont tendance à être plus sûres de leurs prédictions lorsque les données d'entrée faisaient déjà partie de leur jeu d'entraînement. Un attaquant soumet au modèle des données patient qu'il s'est procurées, vérifie le niveau de confiance et en déduit que le patient figure dans les données d'entraînement.
« Un attaquant qui mène une MIA n'a pas besoin de savoir à qui appartiennent les données qu'il utilise pour la mener », a dit Knolle. « En fait, tous les jeux de données de notre étude étaient anonymisés. » Les jeux de données étaient anonymisés. Les données cibles ne l'étaient pas. L'article indique que les attaques MIA étaient largement exemptes d'erreurs au niveau du patient individuel, ce qui signifie que les niveaux de confiance constituent un signal fiable pour savoir si les données d'un patient donné figurent dans un jeu d'entraînement. En pratique, selon Knolle, « l'attaquant aurait simplement besoin d'accéder aux résultats d'analyse sanguine de quelqu'un, ou à une partie de ces résultats » pour déduire l'inclusion. Obtenir ces données reste l'obstacle, et il n'est pas énorme aux yeux de Knolle. « Étant donné que les données médicales ne sont pas toujours stockées de façon sûre, il n'est pas impensable qu'un attaquant y accède, par exemple en s'introduisant sans autorisation dans la base de données de votre médecin généraliste après une prise de sang de routine », a-t-il dit.
Recommandations et réserve
Les chercheurs formulent plusieurs recommandations. L'une est le recours à des cadres de confidentialité différentielle, conçus pour garantir mathématiquement que les données d'entraînement restent anonymes. Une autre est la réforme des normes d'audit de confidentialité, pour qu'elles prennent en compte le risque au niveau individuel et pas seulement le risque agrégé. Une troisième option, selon Knolle, est de constituer les données d'entraînement des IA médicales de manière à mieux représenter les groupes sous-représentés. Knolle a aussi nuancé le caractère alarmant de toute MIA prise isolément. « Dans de nombreuses situations, une MIA réussie représente une atteinte à la vie privée faible ou négligeable », a-t-il noté, en citant les modèles d'IA entraînés sur de grandes populations générales, où figurent à la fois des personnes saines et malades. Interrogé sur ce qu'il espère de cette recherche, Knolle dit vouloir que la communauté de l'IA médicale prenne les risques de confidentialité au sérieux et recoure aux techniques de réduction des risques là où elles sont nécessaires.
L'autre mode de défaillance
La confidentialité n'est pas la seule faiblesse documentée de l'IA médicale. En avril, The Register a rendu compte d'une étude publiée dans JAMA Network Open, qui a examiné 21 grands modèles d'IA du commerce sur 29 vignettes cliniques standardisées. Les modèles réussissaient bien le diagnostic final lorsqu'on leur fournissait un dossier complet d'informations médicales, les meilleurs étant corrects 91 pour cent du temps. Le diagnostic différentiel précoce, en revanche, donnait un tout autre résultat. L'étude a relevé un taux d'échec supérieur à 80 pour cent à ce stade. « Tous les modèles que nous avons testés ont échoué sur la grande majorité des cas », a déclaré au Register l'auteure principale Arya Rao, étudiante en médecine à Harvard. « C'est le stade où l'incertitude compte le plus, et c'est là que ces systèmes sont les plus faibles. »
Rao ajoute que la mesure stricte de l'échec n'est pas la seule façon de lire les données. La précision brute, en proportion de cas corrects, allait de 63 à 78 pour cent, ce qui suggère selon elle que les modèles étaient souvent partiellement corrects même lorsqu'ils ne produisaient pas un diagnostic différentiel entièrement juste. Le Dr Marc Succi, radiologue au Massachusetts General Hospital et coauteur, estime que le meilleur taux de réussite au diagnostic final ne doit pas rassurer. « Le raisonnement clinique réel commence plus tôt, quand l'ambiguïté est maximale, et c'est exactement là que ces systèmes restent les plus faibles », a-t-il déclaré au Register, ajoutant qu'un diagnostic différentiel erroné peut entraîner des retards de prise en charge, des examens inutiles avec leurs complications et des coûts élevés.
Les deux articles pointent le même écart entre la manière dont l'IA médicale est mesurée et celle dont elle est utilisée. L'un mesure la confidentialité de façon agrégée alors que des patients individuels restent identifiables. L'autre note les réponses finales alors que le stade antérieur, plus incertain, du raisonnement reste peu fiable.
Sources
2- 01Medical diagnosis AIs can be tricked into telling whose data trained themEN
- 02LLMs fail in 8 out of 10 early differential diagnosis casesEN
Tous les chiffres et citations de ce texte proviennent des sources citées ci-dessous.
Les contenus ont été préparés par l'équipe de rédaction, assistée par l'IA.
Commentaires
0- Aucun commentaire — soyez le premier.