Aller au contenu
Heure mondialeEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portail sur l'IA et la technologieactualités · analyses · entretiens · fond technique

Rechercher
EN DIRECT
›

Les IA médicales peuvent révéler quelles données les ont entraînées, selon un article de Nature

Des modèles d'IA médicale peuvent être amenés à confirmer si le dossier d'un patient précis a fait partie de leurs données d'entraînement, rapportent des chercheurs allemands dans un article de Nature publié le 24 juin. Le taux de réussite est quasi parfait sur des patients pris individuellement.

SantéAnalyseAmélie BernardPublié le: 28 septembre 20267 min de lectureSources 2
Les IA médicales peuvent révéler quelles données les ont entraînées, selon un article de Nature

Le résultat, révélé par The Register le 24 juin, compte moins pour ce qu'il démontre en soi sur la sécurité des modèles que pour ce qu'il implique quant aux promesses de confidentialité que les hôpitaux, les assureurs et les fournisseurs d'IA font aux patients. Si l'appartenance à un jeu d'entraînement peut être confirmée, ce jeu devient lui-même un canal de divulgation. C'est là que le bât blesse.

Moritz Knolle, titulaire de la chaire IA en santé et médecine à l'Université technique de Munich et directeur de l'étude, a déclaré à The Register que l'exposition n'a rien d'hypothétique. « On peut imaginer des scénarios où l'appartenance à un jeu de données d'entraînement révèle qu'une personne porte une maladie génétique latente comme la maladie de Huntington, une dépression, ou qu'elle a fréquenté une clinique de soins spécialisée précise », a-t-il expliqué. Le scénario n'a rien d'exotique. C'est le quotidien de la tenue des dossiers cliniques.

La classe d'attaque n'est pas nouvelle. Les attaques par inférence d'appartenance, ou MIA, sont étudiées dans la littérature en apprentissage automatique depuis des années, et le principe général est bien compris : un modèle a tendance à être plus sûr de lui sur des entrées qu'il a déjà vues. Un attaquant capable d'interroger le modèle et de lire ses scores de confiance peut donc en déduire l'inclusion. L'article de Nature apporte l'échelle et la spécificité clinique. L'équipe a testé sept jeux de données d'IA médicale couvrant des images, des enregistrements d'ECG et des dossiers de santé électroniques généraux. Elle a constaté que des patients individuels pouvaient être identifiés avec ce qu'elle décrit comme un taux de réussite quasi parfait. Ce résultat n'est pas une curiosité de laboratoire. C'est une mesure du comportement de ces modèles quand on leur pose la bonne question.

Pourquoi les audits globaux passent à côté

Ce résultat contredit la manière dont ces modèles sont évalués aujourd'hui. Les audits de confidentialité mesurent généralement le taux de réussite des attaques de façon globale sur un jeu de données, ce qui produit une moyenne rassurante. L'article soutient que ce n'est pas la bonne unité d'analyse. « Le fait que les MIA puissent atteindre des taux de réussite quasi parfaits pour des patients individuels n'est pas correctement pris en compte par le protocole d'évaluation standard, qui mesure le taux de réussite des attaques de façon globale sur les dossiers », écrivent les chercheurs. Leur conclusion : les normes de reporting des audits de confidentialité des IA doivent changer.

Un second résultat détonne avec le premier. Les patients sous-représentés dans une cohorte d'entraînement sont plus faciles à identifier que les autres, parce que leurs points de données ressortent. L'origine ethnique, le statut d'assurance, le sexe, le protocole d'imagerie utilisé et certains états pathologiques peuvent tous jouer le rôle de valeurs aberrantes. Le résumé de Knolle est direct : « De façon générale, les risques de confidentialité liés aux MIA s'aggravent à mesure que la cohorte d'entraînement d'un modèle devient plus spécifique. »

Plus le jeu de données est grand, plus les dossiers individuels sont faciles à exposer, selon l'article. Les chercheurs notent que l'ampleur de cette évolution du risque au niveau du patient dans les modèles plus grands était jusqu'ici inconnue. C'est un résultat contre-intuitif pour qui suppose que l'échelle apporte l'anonymat. En imagerie médicale et en génomique, c'est souvent l'inverse qui se produit.

Ce dont un attaquant a réellement besoin

C'est ici que le tableau pratique se complique, et que les réserves de l'article comptent. Mener une MIA contre un modèle médical exige que l'attaquant détienne déjà certaines données de la personne qu'il veut identifier. Knolle le confirme. « Pour mener une MIA, un attaquant doit avoir accès à un point de données cible », a-t-il déclaré à The Register. Il ajoute que l'article montre qu'un dossier patient complet n'est pas nécessaire, contrairement aux hypothèses antérieures. « Dans notre article, nous montrons qu'un attaquant disposant d'un accès partiel peut tout de même mener une MIA avec succès. »

L'attaquant aurait simplement besoin d'accéder aux résultats d'analyse de sang de quelqu'un, ou à une partie de ces résultats.

Le seuil baisse nettement. L'attaque consiste à soumettre le dossier partiel au modèle, à lire le niveau de confiance et à en déduire que le patient figure dans le jeu d'entraînement. Les jeux de données utilisés dans l'étude étaient anonymisés, et Knolle souligne que l'attaquant n'a pas besoin de savoir à qui appartiennent les données pour lancer la requête. Le lien entre des données d'entraînement anonymisées et une personne nommée doit venir d'ailleurs, mais cet ailleurs est souvent une fuite de données.

Les violations de données de santé sont assez fréquentes pour que la question ne reste pas théorique. Knolle décrit le scénario sans détour : un attaquant accède sans autorisation à la base de données d'un médecin généraliste après une prise de sang de routine, et de là peut sonder le modèle.

Interrogé sur ce qu'il attend de cette recherche, Knolle dit espérer que la communauté de l'IA médicale prendra les risques de confidentialité au sérieux et appliquera des techniques d'atténuation là où elles sont nécessaires. L'article recommande des cadres de confidentialité différentielle, conçus pour offrir des garanties mathématiques que les données d'entraînement restent anonymes, ainsi qu'une norme d'audit remaniée rapportant le risque au niveau individuel plutôt que global. Une troisième option, évoquée par Knolle, consiste à constituer les données d'entraînement de façon à mieux représenter les groupes sous-représentés, afin de réduire l'effet de valeur aberrante qui les rend faciles à identifier.

Il met aussi en garde contre la tentation de traiter toute MIA réussie comme une atteinte grave. « Dans de nombreuses situations, une MIA réussie représente une atteinte à la vie privée faible ou négligeable », note-t-il, en citant les modèles entraînés sur de grandes populations générales où figurent à la fois des individus sains et malades.

Le vide réglementaire

Face au paysage réglementaire actuel, l'article tombe dans un espace que les règles peinent jusqu'ici à combler. Les audits de confidentialité des IA médicales portent généralement sur la licéité de la collecte des données et sur la suppression des identifiants, pas sur la capacité d'interroger le modèle lui-même pour reconstituer une appartenance. La confidentialité différentielle existe comme technique, mais elle n'est pas exigée uniformément. L'argument de l'article revient pour l'essentiel à dire que le régime d'évaluation mesure la mauvaise chose.

Ce vide n'est pas propre à l'Europe. Des régulateurs de plusieurs juridictions cherchent comment classer et superviser les outils d'IA utilisés en milieu clinique, avec des propositions allant de régimes d'autorisation préalable à des orientations plus légères pour les applications à faible risque. Aucun des cadres en circulation, selon les auteurs de l'article, ne traite le risque d'appartenance au niveau individuel que leurs expériences mettent en évidence.

Un autre ensemble de travaux suggère que la performance diagnostique de ces systèmes est elle aussi plus faible que le marketing ne le laisse croire. Une recherche publiée dans JAMA Network Open en avril, dirigée par Arya Rao, étudiante en médecine à Harvard, et relayée par The Register le 15 avril, a testé 21 modèles d'IA du commerce sur 29 vignettes cliniques standardisées. Les modèles obtenaient de bons résultats lorsqu'on leur fournissait un dossier d'informations complet et qu'on leur demandait un diagnostic final, les meilleurs étant corrects dans 91 pour cent des cas. Le diagnostic différentiel précoce, l'étape où les cliniciens pèsent les possibilités concurrentes, échouait dans plus de 8 cas sur 10.

« Tous les modèles que nous avons testés ont échoué sur la grande majorité des cas », a déclaré Rao à The Register. « C'est l'étape où l'incertitude compte le plus, et c'est là que ces systèmes sont les plus faibles. » Le Dr Marc Succi, radiologue au Massachusetts General Hospital et coauteur, estime que les résultats indiquent qu'il ne faut pas faire confiance aux modèles du commerce actuels pour le raisonnement diagnostique face aux patients sans une revue humaine structurée et complète.

Rao note aussi que la métrique d'échec plus stricte ne dit pas tout. Mesurée en exactitude brute, la proportion de cas où un modèle donnait une réponse entièrement correcte allait de 63 à 78 pour cent. Selon elle, cela suggère que les modèles étaient souvent partiellement corrects même lorsqu'ils échouaient selon la définition plus stricte.

Les deux articles pointent dans la même direction sous des angles différents. L'un montre que les modèles peuvent divulguer qui figurait dans leurs données d'entraînement. L'autre montre qu'ils sont peu fiables à l'étape de raisonnement où la valeur clinique est la plus forte. Aucun des deux résultats n'est fatal en soi, et aucun n'exclut un déploiement utile dans des contextes étroits et bien encadrés.

Ce qu'ils sapent, en revanche, c'est l'hypothèse selon laquelle les audits de confidentialité et les benchmarks de performance actuels suffisent ensemble à certifier qu'une IA médicale est sûre. Les auteurs de l'article de Nature veulent des normes d'audit réécrites pour rapporter le risque au niveau individuel. L'équipe de JAMA veut que les promesses marketing sur les agents diagnostiques correspondent aux preuves. Les deux demandent la même chose : une évaluation qui reflète la manière dont ces systèmes échouent, et non celle dont ils réussissent en moyenne.

Commentaires 0

Sources

2
  1. 01Medical diagnosis AIs can be tricked into telling whose data trained themEN
  2. 02LLMs fail in 8 out of 10 early differential diagnosis casesEN

Tous les chiffres et citations de ce texte proviennent des sources citées ci-dessous.

Les contenus ont été préparés par l'équipe de rédaction, assistée par l'IA.

Amélie Bernard

Amélie Bernard

Science et santé

Amélie Bernard couvre les sciences et la santé pour FLASH24, en s'appuyant sur les publications évaluées par les pairs, les communiqués des agences et les données brutes des études, sans reprendre les reprises de presse. Elle vérifie chaque chiffre en remontant à la source, compare les méthodologies et signale les tailles d'échantillon douteuses. Elle interroge régulièrement des chercheurs et des soignants, et attend les mises à jour des revues à comité de lecture avant de publier. Sa formation en physique des matériaux lui sert à décrypter les résultats techniques, et elle observe le ciel avec son propre télescope. Elle ne publie pas une donnée qu'elle n'a pas pu reproduire.

Rédaction →

Commentaires

0
  1. Aucun commentaire — soyez le premier.

Écrire un commentaire

Les commentaires sont publics. Nous ne publions ni insultes, ni spam, ni publicité.