Audits de vie privée de l'IA médicale : le patient pris isolément échappe aux contrôles

Des chercheurs allemands ont publié mercredi un article dans Nature. Les modèles d'IA médicale discriminatifs, ceux qui classent des données et font des prédictions sur de nouvelles entrées, y sont décrits comme « particulièrement sensibles » aux attaques par inférence d'appartenance (membership inference attacks, MIA). The Register a rapporté ces résultats le 24 juin.

Une MIA consiste à interroger un modèle pour savoir si un point de données donné figurait dans son jeu d'entraînement. En IA médicale, le risque est concret : un patient dont le dossier a servi à entraîner le modèle peut être exposé, avec à la clé la fuite de détails de son historique médical et de ses diagnostics. L'équipe a analysé sept jeux de données d'IA médicale, couvrant des images, des enregistrements d'ECG et des dossiers de santé électroniques généraux. Des patients pris individuellement et ciblés par de telles attaques ont pu être identifiés avec ce que l'équipe décrit comme un « succès quasi parfait ».

Les métriques agrégées masquent le problème

Ce taux de réussite échappe, selon les chercheurs, à la manière dont les modèles d'IA médicale sont actuellement évalués en matière de sécurité. « Le fait que les MIA puissent atteindre des taux de réussite quasi parfaits pour des patients individuels n'est pas correctement pris en compte par le protocole d'évaluation standard, qui mesure le succès des attaques de façon agrégée sur l'ensemble des dossiers », écrivent-ils. Ils en concluent que les normes de déclaration des audits de vie privée des IA doivent changer. Les patients sous-représentés sont plus faciles à identifier que les autres. L'origine ethnique, le statut d'assurance, le sexe, le protocole utilisé pour l'imagerie médicale et certains états pathologiques peuvent tous jouer le rôle de valeurs aberrantes, selon l'article. Ces valeurs aberrantes rendent l'inférence d'appartenance plus facile.

« D'une manière générale, les risques pour la vie privée liés aux MIA deviennent plus graves à mesure que la cohorte d'entraînement d'un modèle devient plus spécifique », a déclaré au Register par courriel Moritz Knolle, titulaire de la chaire IA en santé et médecine de l'université technique de Munich et premier auteur de l'article.

Knolle a donné des exemples de ce que cette spécificité pouvait exposer. « On peut imaginer ... des scénarios où l'appartenance à un jeu de données d'entraînement révèle que quelqu'un est porteur d'une maladie génétique dormante comme la maladie de Huntington, qu'il souffre de dépression, ou qu'il a fréquenté une clinique de traitement spécialisée précise », a-t-il dit. Des jeux de données plus volumineux ne règlent pas le problème. Selon la synthèse de l'article publiée par The Register, plus le jeu de données est grand, plus il est facile d'exposer des dossiers, et « l'ampleur de ce changement de risque au niveau du patient était jusqu'ici inconnue » dans les modèles plus grands.

Ce dont un attaquant a réellement besoin

Une MIA n'est pas une attaque à distance sans données d'entrée. Knolle confirme que pour en mener une, un attaquant doit avoir accès à un point de données cible. Mais les travaux remettent aussi en cause une hypothèse qui rendait jusqu'ici ces attaques peu réalistes : l'accès au dossier complet d'un patient n'est pas nécessaire. « Dans notre article, nous montrons qu'un attaquant disposant d'un accès partiel peut tout de même mener à bien des MIA », a déclaré Knolle au Register.

L'attaque elle-même exploite la confiance du modèle. Les IA médicales ont tendance à être plus sûres de leurs prédictions lorsque les données d'entrée faisaient déjà partie de leur jeu d'entraînement. Un attaquant soumet au modèle des données de patient qu'il s'est procurées, vérifie le niveau de confiance et en déduit que le patient figure dans les données d'entraînement.

« Un attaquant qui mène une MIA n'a pas besoin de savoir à qui appartiennent les données avec lesquelles il tente de la mener », a dit Knolle. « En fait, tous les jeux de données que nous utilisons dans notre étude étaient anonymisés. » Les jeux de données étaient anonymisés. Les données cibles ne l'étaient pas. L'article indique que les attaques MIA étaient largement exemptes d'erreur au niveau du patient individuel. Les niveaux de confiance constituent donc un signal fiable : ils disent si les données d'un patient donné figurent ou non dans un jeu d'entraînement. En pratique, selon Knolle, « l'attaquant aurait simplement besoin d'accéder aux résultats d'analyse sanguine de quelqu'un, ou à une partie de ces résultats » pour en déduire l'appartenance. Se procurer ces données reste l'obstacle, et pas un gros obstacle selon Knolle. « Étant donné que les données médicales ne sont pas toujours stockées de manière sécurisée, il n'est pas impensable qu'un attaquant puisse y accéder, par exemple en obtenant un accès non autorisé à la base de données de votre médecin généraliste après une prise de sang de routine », a-t-il dit.

Recommandations et une réserve

Les chercheurs formulent plusieurs recommandations. L'une est le recours à des cadres de confidentialité différentielle, conçus pour garantir mathématiquement que les données d'entraînement restent anonymes. Une autre est la réforme des normes d'audit de vie privée, afin qu'elles prennent en compte le risque au niveau individuel et pas seulement le risque agrégé. Une troisième option, selon Knolle, consiste à constituer les données d'entraînement des IA médicales de manière à mieux représenter les groupes sous-représentés. Knolle a aussi posé une limite à l'inquiétude que devrait susciter une MIA isolée. « Il existe de nombreuses situations où une MIA réussie représente une violation de la vie privée faible ou négligeable », a-t-il noté, en citant des modèles d'IA entraînés sur de grandes populations générales où figurent à la fois des individus sains et malades. Interrogé sur ce qu'il espère voir sortir de ces travaux, Knolle répond qu'il veut que la communauté de l'IA médicale prenne les risques pour la vie privée au sérieux et recoure aux techniques de réduction des risques là où elles sont nécessaires.

L'autre mode de défaillance

La vie privée n'est pas la seule faiblesse documentée de l'IA médicale. En avril, The Register a rapporté une étude publiée dans JAMA Network Open. Elle examinait 21 modèles d'IA commerciaux de premier plan sur 29 vignettes cliniques standardisées. Les modèles réussissaient bien le diagnostic final lorsqu'ils disposaient d'un dossier complet d'informations médicales, les meilleurs modèles étant corrects dans 91 pour cent des cas. Le diagnostic différentiel précoce était une autre histoire. L'étude a relevé un taux d'échec supérieur à 80 pour cent à ce stade. « Tous les modèles que nous avons testés ont échoué sur la grande majorité des cas », a déclaré au Register Arya Rao, étudiant en médecine à Harvard et premier auteur. « C'est le stade où l'incertitude compte le plus, et c'est là que ces systèmes sont les plus faibles. »

Rao a ajouté que la métrique d'échec stricte n'était pas la seule façon de lire les données. La précision brute, en proportion de cas corrects, allait de 63 à 78 pour cent. Les modèles étaient donc souvent partiellement corrects, même sans produire de diagnostic différentiel entièrement correct, selon elle. Le docteur Marc Succi, radiologue au Massachusetts General Hospital et coauteur, a déclaré que le taux de réussite plus élevé au diagnostic final ne devait pas rassurer. « Le vrai raisonnement clinique commence plus tôt, quand l'ambiguïté est à son maximum, et c'est exactement là qu'ils restent les plus faibles », a-t-il dit au Register. Il ajoute qu'un diagnostic différentiel erroné peut entraîner des retards de prise en charge, des examens inutiles avec des complications et des coûts élevés.

Les deux articles pointent le même écart entre la manière dont l'IA médicale est mesurée et celle dont elle est utilisée. L'un mesure la vie privée de façon agrégée alors que les patients pris individuellement restent identifiables. L'autre note les réponses finales alors que le stade antérieur, plus incertain, du raisonnement reste peu fiable.