Diagnostic par IA sous examen : des patients identifiés via les données d'entraînement, les LLM échouent dans 80 % des cas
Deux études publiées en 2026 montrent que des IA de diagnostic médical peuvent révéler quels dossiers de patients ont servi à leur entraînement. Elles montrent aussi que les grands modèles de langage échouent au diagnostic différentiel précoce dans plus de 8 cas sur 10.

Deux axes de recherche publiés en 2026 dressent un tableau inquiétant du diagnostic médical par IA. Le premier montre que des modèles de diagnostic divulguent l'identité des patients dont les dossiers ont servi à les entraîner. Le second montre que les grands modèles de langage échouent aux premières étapes du raisonnement clinique dans plus de 80 pour cent des cas. Ce sont les mêmes outils que le public interroge sur ses symptômes. The Register a rendu compte des deux travaux, en suivant les articles au moment de leur parution.
Le problème de confidentialité vient d'un article de Nature publié le mercredi 24 juin 2026, selon The Register. Des chercheurs allemands ont testé sept jeux de données d'IA médicale. Ceux-ci contenaient des images, des enregistrements d'ECG et des dossiers de santé électroniques généraux. Ils ont constaté que les modèles discriminatifs sont particulièrement vulnérables aux attaques par inférence d'appartenance (MIA). Ces modèles classent des données et produisent des prédictions. Les attaques interrogent un modèle pour déterminer si un point de données précis faisait partie de son jeu d'entraînement. L'équipe rapporte que des patients individuels peuvent être identifiés avec un « succès quasi parfait de l'attaque ». Les protocoles d'évaluation standard ne capturent pas ce taux de réussite, soutiennent les chercheurs. Ces protocoles mesurent la réussite de l'attaque de façon agrégée sur l'ensemble des dossiers. Les chercheurs concluent que les normes de déclaration des audits de confidentialité des IA doivent changer.
Les patients sous-représentés sont plus faciles à identifier
Les patients sous-représentés dans les données d'entraînement des IA médicales sont encore plus faciles à identifier, selon le même article. Plus faciles que les patients dont les données ne sortent pas du lot. The Register cite le statut racial, l'assurance, le sexe, le protocole d'imagerie et certains états pathologiques parmi les catégories qui peuvent jouer le rôle de valeurs aberrantes. Elles rendent les individus plus faciles à repérer.
Moritz Knolle préside la chaire d'IA en santé et médecine à l'université technique de Munich et signe l'article comme premier auteur. « De façon générale, les risques pour la vie privée liés aux MIA s'aggravent à mesure que la cohorte d'entraînement d'un modèle devient plus spécifique », a-t-il déclaré à The Register dans un échange par courriel. Il décrit des scénarios où l'appartenance à un jeu de données d'entraînement pourrait révéler qu'une personne porte une affection génétique dormante comme la maladie de Huntington, qu'elle souffre de dépression, ou qu'elle a fréquenté une clinique spécialisée précise.
L'attaque elle-même repose sur une propriété simple des modèles d'apprentissage automatique. Ils ont tendance à être plus confiants lorsque les données d'entrée faisaient partie de leur jeu d'entraînement. Un attaquant disposant de données partielles sur un patient peut les soumettre au modèle et vérifier le niveau de confiance. Cela révèle si le patient figurait dans le jeu. Knolle indique que l'article montre qu'un attaquant n'a pas besoin d'un accès complet à un point de données patient. Cela contredit ce que l'on croyait auparavant. « Dans notre article, nous montrons qu'un attaquant disposant d'un accès partiel peut tout de même mener des MIA avec succès », a-t-il déclaré à The Register.
« J'espère que la communauté de l'IA médicale commencera à prendre les risques pour la vie privée au sérieux et que des techniques d'atténuation seront employées là où elles sont nécessaires. » Moritz Knolle, université technique de Munich
Les chercheurs recommandent des cadres de confidentialité différentielle. Ceux-ci sont conçus pour garantir mathématiquement que les données d'entraînement restent anonymes. Ils veulent aussi que les normes d'audit de confidentialité prennent en compte le risque au niveau individuel et pas seulement les chiffres agrégés. Autre option selon Knolle : constituer les données d'entraînement de manière à mieux représenter les groupes sous-représentés. « Dans de nombreuses situations, une MIA réussie représente une atteinte à la vie privée faible ou négligeable », a-t-il noté. Il faisait référence aux modèles entraînés sur de vastes populations générales, qui incluent des individus sains et malades.
Les modèles de langage échouent tôt et affichent leur assurance
Par ailleurs, des travaux publiés dans JAMA Network Open en avril 2026 ont montré que 21 grands modèles d'IA prêts à l'emploi échouaient au diagnostic différentiel précoce dans plus de 8 cas sur 10. The Register a couvert l'étude le 15 avril 2026. Elle testait les modèles sur 29 vignettes cliniques standardisées. Les modèles réussissaient bien lorsqu'on leur fournissait un dossier médical complet et qu'on leur demandait un diagnostic final. Les principaux modèles avaient raison dans 91 pour cent des cas. Mais le diagnostic différentiel précoce est le moment où le clinicien écarte des hypothèses tout en pesant les possibilités. Là, le taux d'échec dépassait 80 pour cent.
Arya Rao est étudiant en médecine à Harvard et a dirigé la recherche. « Chaque modèle que nous avons testé a échoué dans la grande majorité des cas », a-t-il déclaré à The Register par courriel. « C'est le stade où l'incertitude compte le plus, et c'est là que ces systèmes sont les plus faibles. »
Rao note que l'échec ne signifiait pas toujours une réponse entièrement fausse. Mesurés en exactitude brute, soit la proportion de réponses correctes, les modèles se situaient entre 63 et 78 pour cent. Mais l'équipe soutient que la mesure d'échec plus stricte compte quand même. Les outils d'IA sont vendus comme des agents de première ligne censés resserrer les diagnostics. « Présenter les LLM comme des agents diagnostiques risque d'entretenir une fausse confiance précisément là où ils sont les moins fiables », écrivent les chercheurs.
Le Dr Marc Succi est radiologue au Massachusetts General Hospital et coauteur de l'article. Il a déclaré à The Register que des taux de réussite plus élevés au diagnostic final ne devaient pas rassurer. « Le vrai raisonnement clinique commence plus tôt, quand l'ambiguïté est la plus forte, et c'est exactement là qu'ils restent les plus faibles », a-t-il dit. Il avertit qu'un diagnostic différentiel erroné peut entraîner des retards de prise en charge, des procédures inutiles, des coûts élevés et davantage encore.
Les deux articles paraissent dans un environnement réglementaire encore en retard. À la mi-2024, la Food and Drug Administration américaine avait autorisé environ 950 dispositifs médicaux dopés à l'IA, selon une analyse sectorielle publiée par IntuitionLabs. La même analyse notait qu'une infime fraction seulement des dispositifs d'IA autorisés s'appuient sur des essais randomisés ou des données de résultats patients. Elle notait aussi que la FDA a publié ses orientations sur les Predetermined Change Control Plans en décembre 2024.
MD+DI a publié un entretien avec Suzanne Levy Friedman, avocate spécialisée dans les dispositifs médicaux à la FDA. Il y est noté que malgré plus d'un millier de dispositifs dopés à l'IA autorisés par la FDA, aucun n'intègre de modèle à apprentissage continu. Friedman indique que l'agence travaille à une voie vers cet objectif. Mais sa mission première d'agence de santé publique l'oblige à peser l'innovation face au risque. Ce risque, c'est celui de cliniciens qui s'appuient sur des outils non validés.
Les deux articles de recherche suggèrent que la validation ne porte pas seulement sur la capacité d'un modèle à trouver la bonne réponse finale. Elle porte aussi sur sa capacité à garder secrète l'identité d'un patient. Et sur sa capacité à gérer l'incertitude avant que le diagnostic soit établi.
Sources
4- 01Medical diagnosis AIs can be tricked into telling whose data trained themEN
- 02LLMs fail in 8 out of 10 early differential diagnosis casesEN
- 03AI Medical Devices: 2025 Status, Regulation & ChallengesEN
- 04How Is FDA Regulating AI Medical Devices in 2026?EN
Tous les chiffres et citations de ce texte proviennent des sources citées ci-dessous.
Les contenus ont été préparés par l'équipe de rédaction, assistée par l'IA.
Commentaires
0- Aucun commentaire — soyez le premier.