Les IA médicales peuvent nommer les patients qui ont servi à leur entraînement, selon des chercheurs
Des modèles d'IA de diagnostic médical peuvent être amenés à révéler si les données d'un patient donné ont servi à leur entraînement, rapportent des chercheurs allemands dans un article publié mercredi dans Nature. Le taux de réussite est quasi parfait sur des patients pris individuellement. Ces résultats paraissent alors que la FDA, l'UE et l'OMS écrivent encore les règles d'audit de ces dispositifs.

L'attaque s'appelle une attaque par inférence d'appartenance, ou MIA. The Register rapportait le 24 juin que l'équipe avait sondé sept jeux de données médicaux, couvrant des images, des enregistrements d'ECG et des dossiers de santé électroniques généraux. Les chercheurs ont constaté que des patients ciblés individuellement par ce type d'attaque peuvent être identifiés avec ce qu'ils appellent un succès quasi parfait. Ce chiffre n'apparaît pas dans le protocole d'évaluation standard, précise l'article, parce que ce protocole mesure le taux de réussite globalement, tous dossiers confondus.
Les IA médicales sont plus confiantes lorsque les données d'entrée figurent déjà dans leur jeu d'entraînement. L'attaquant soumet au modèle les données d'un patient, lit le niveau de confiance et en conclut que ce patient faisait partie de la cohorte d'entraînement.
Moritz Knolle, chercheur à l'université technique de Munich et premier auteur de l'article, a déclaré à The Register qu'un attaquant n'a pas besoin de savoir à qui appartiennent les données. « En fait, tous les jeux de données que nous utilisons dans notre étude étaient anonymisés », a-t-il dit. Un accès partiel suffit. « L'attaquant aurait simplement besoin d'accéder aux résultats d'une prise de sang, ou à une partie de ces résultats. »
Les cas atypiques sont les plus faciles à repérer
Le schéma de qui se retrouve exposé met mal à l'aise. Les groupes sous-représentés dans les données d'entraînement médicales sont plus faciles à identifier que les patients dont les dossiers se fondent dans la masse. L'article cite le statut racial, la couverture d'assurance, le sexe, le protocole d'imagerie utilisé et certains états pathologiques comme catégories pouvant jouer le rôle de cas atypiques. Résumé de Knolle à The Register : « D'une manière générale, les risques pour la vie privée liés aux MIA deviennent plus graves à mesure que la cohorte d'entraînement d'un modèle devient plus spécifique. »
Il donne l'exemple d'une cohorte d'entraînement qui révèle une maladie génétique dormante comme la maladie de Huntington, une dépression, ou la fréquentation d'une clinique de soins spécialisée. Autrement dit, l'appartenance elle-même trahit le diagnostic. L'article constate aussi que plus le jeu de données est grand, plus les dossiers sont faciles à exposer, et que l'ampleur de ce déplacement du risque au niveau individuel dans les grands modèles n'était pas connue jusqu'ici.
L'attaquant a besoin de quelques données médicales sur les personnes qu'il veut identifier. Les fuites de données de santé sont assez fréquentes pour que ce ne soit pas un obstacle élevé. Knolle évoque le scénario d'un accès non autorisé à la base de données d'un médecin généraliste après une prise de sang de routine.
Son objectif déclaré est limité : que la communauté de l'IA médicale prenne les risques pour la vie privée au sérieux et applique des mesures d'atténuation là où c'est nécessaire. L'article recommande des cadres de confidentialité différentielle, conçus pour offrir une garantie mathématique que les données d'entraînement restent anonymes, ainsi qu'une réécriture des normes d'audit de la vie privée pour mesurer le risque individuel et non le risque global. Mieux représenter les groupes sous-représentés lors de la constitution des données d'entraînement est une autre piste qu'il soulève.
Les régulateurs en sont encore aux bases
Tout cela arrive dans un paysage réglementaire qui évolue, de façon inégale. IntuitionLabs, dans un rapport mis à jour le 18 août, chiffre à environ 950 le nombre de dispositifs d'IA et d'apprentissage automatique autorisés par la FDA à la mi-2024, avec environ 100 nouvelles autorisations par an. Les analystes de marché cités dans le même rapport estimaient les dispositifs médicaux dotés d'IA à 13,7 milliards de dollars en 2024 et projetaient plus de 255 milliards de dollars d'ici 2033. La radiologie domine les autorisations, la cardiologie, la neurologie, l'anesthésiologie et l'ophtalmologie gagnant du terrain.
Le même rapport note que les revues systématiques ne trouvent qu'une infime fraction de dispositifs d'IA autorisés étayés par des essais randomisés ou des données sur l'état des patients, et que des défaillances de dispositifs ont été liées à des blessures et, dans un cas rapporté, à un décès. Il cite un outil de triage en réanimation qui sous-identifiait les patients noirs pour des soins supplémentaires, et des études de coloscopie où le taux de détection des médecins baissait lorsqu'ils s'appuyaient sur l'IA.
Sur la vie privée précisément, l'exigence d'un audit au niveau individuel défendue par l'article se heurte à un système conçu pour un reporting global. Les résumés de décision de la FDA omettent souvent des détails essentiels sur l'efficacité et la sécurité, selon la revue d'IntuitionLabs, et l'adhésion aux normes est inégale selon les pays. L'AI Act de l'UE, en vigueur depuis 2024, classe de nombreux systèmes d'IA de santé comme à haut risque et ajoute du travail de conformité par-dessus le règlement sur les dispositifs médicaux. L'OMS a publié en 2023 des recommandations portant sur la transparence, la qualité des données et la supervision tout au long du cycle de vie.
MD+DI a publié un entretien avec Suzanne Levy Friedman, avocate spécialisée dans les dispositifs médicaux à la FDA, qui indiquait que son dernier décompte dépassait le millier de dispositifs dotés d'IA autorisés par l'agence. Aucun n'intègre un modèle capable d'apprendre en continu, a-t-elle dit. Certains de ses clients plus récents s'en étonnent. Elle, non.
« Avec toute l'effervescence de l'innovation, les gens oublient que la FDA est avant tout une agence de santé publique », a déclaré Friedman à MD+DI. « Ils ne cherchent pas à être difficiles, ils cherchent à s'assurer que les patients ne sont pas blessés et que les cliniciens disposent des bonnes informations et ne sont pas amenés par inadvertance à se fier à des choses qui ne sont peut-être pas validées. »
Friedman pointe deux lacunes antérieures à l'article sur la vie privée. Le logiciel évolue plus vite que le cadre conçu pour le matériel, et la dérive des performances en conditions réelles peut toucher des produits validés dès que la patientèle change, comme pendant le COVID. Le biais algorithmique s'y ajoute, et la FDA demande aux fabricants des détails très fins sur leurs algorithmes, ce que certains jugent excessif.
Le problème des preuves cliniques juste à côté
La vie privée n'est pas le seul point faible du socle de preuves. The Register rapportait le 15 avril une étude de JAMA Network Open, dirigée par Arya Rao, étudiant en médecine à Harvard, qui testait 21 modèles d'IA du commerce sur 29 vignettes cliniques standardisées. Les modèles donnaient le bon diagnostic final dans 91 pour cent des cas lorsqu'ils recevaient un dossier d'informations complet. En diagnostic différentiel précoce, l'étape où les cliniciens écartent et retiennent des hypothèses dans l'incertitude, le taux d'échec dépassait 80 pour cent.
« Tous les modèles que nous avons testés échouaient sur la grande majorité des cas », a déclaré Rao à The Register. « C'est l'étape où l'incertitude compte le plus, et c'est là que ces systèmes sont les plus faibles. »
Le coauteur Marc Succi, radiologue au Massachusetts General Hospital, avertit que la confiance sans raisonnement est un danger en soi, en particulier pour les patients anxieux. Il soutient aussi que de bons scores au diagnostic final peuvent créer un faux sentiment de sécurité, parce que le raisonnement clinique réel commence plus tôt, au moment où l'ambiguïté est la plus forte. Rao note que la mesure d'échec plus stricte n'est pas la seule façon de lire les données : la précision brute allait de 63 à 78 pour cent, ce qui signifie que les modèles avaient souvent partiellement raison.
Les deux articles pointent dans la même direction sous des angles différents. L'un montre que les données d'entraînement derrière un modèle de diagnostic peuvent être interrogées pour identifier les patients qu'elles contiennent. L'autre montre que ces mêmes modèles, priés de raisonner comme des cliniciens, chutent là où les enjeux sont les plus élevés. Tous deux paraissent alors que les normes d'audit censées détecter ces problèmes sont encore en cours de rédaction.
La réserve de Knolle mérite d'être gardée en tête. Il a dit à The Register que dans de nombreuses situations, une MIA réussie représente une atteinte à la vie privée faible ou négligeable, à savoir pour des modèles entraînés sur de grandes populations générales comprenant des individus sains et malades. Le risque se concentre là où les cohortes sont étroites, et les cohortes étroites sont précisément ce dont l'IA médicale spécialisée a tendance à avoir besoin.
Sources
4- 01Medical diagnosis AIs can be tricked into telling whose data trained themEN
- 02LLMs fail in 8 out of 10 early differential diagnosis casesEN
- 03AI Medical Devices: 2025 Status, Regulation & ChallengesEN
- 04How Is FDA Regulating AI Medical Devices in 2026?EN
Tous les chiffres et citations de ce texte proviennent des sources citées ci-dessous.
Les contenus ont été préparés par l'équipe de rédaction, assistée par l'IA.
Commentaires
0- Aucun commentaire — soyez le premier.