Patienten im Trainingsdatensatz lassen sich leicht identifizieren, und Datenschutzprüfungen erfassen das nicht

Membership-Inference-Angriffe (MIA) fragen ein Modell, ob ein bestimmter Datensatz Teil seines Trainings war. Laut The Register, das die Ergebnisse am 24. Juni meldete, sind diskriminative medizinische KI-Modelle dafür besonders anfällig. Sie werden darauf trainiert, Eingaben zu klassifizieren, und werden messbar sicherer bei Daten, die sie bereits gesehen haben.

Diese Sicherheit ist das Leck. Das Team untersuchte sieben medizinische KI-Datensätze mit Bildern, EKG-Aufzeichnungen und allgemeinen elektronischen Gesundheitsakten. Angegriffene Patienten ließen sich mit dem identifizieren, was die Arbeit als nahezu perfekten Erfolg beschreibt. Die Autoren sagen, dass die übliche Bewertung das nicht erfasst. Sie misst den Angriffserfolg über alle Datensätze hinweg aggregiert statt pro Person.

Ausreißer lassen sich am leichtesten aufdecken

Unterrepräsentierte Gruppen in einer Trainingskohorte sind einfacher zu identifizieren als typische Patienten. Ethnie, Versicherungsstatus, Geschlecht, das verwendete Bildgebungsprotokoll und bestimmte Krankheitsstatus können alle als Ausreißer wirken.

Generell werden die Datenschutzrisiken durch MIA schwerwiegender, je spezifischer die Trainingskohorte eines Modells wird.

Das sagt Moritz Knolle, der an der Technischen Universität München den Lehrstuhl für KI in Gesundheitswesen und Medizin innehat und die Arbeit leitete, in einem E-Mail-Austausch mit The Register. Er nannte das Beispiel eines Modells, dessen Mitgliederliste verraten würde, dass jemand eine ruhende genetische Erkrankung wie Chorea Huntington hat, an Depressionen leidet oder eine bestimmte spezialisierte Behandlungsklinik besucht hat. Größere Datensätze machten die Sache schlimmer, nicht besser. Die Arbeit stellt fest, dass das Ausmaß der Veränderung des Risikos auf Patientenebene bei größeren Modellen bisher unbekannt war.

Der Angriff braucht außerdem weniger, als Forschende einst annahmen. Knolle sagte The Register, ein Angreifer benötige normalerweise Zugang zu einem Zieldatenpunkt, und die Arbeit zeige, dass teilweiser Zugang ausreicht. Bluttestergebnisse oder ein Teil davon würden genügen. Alle in der Studie verwendeten Datensätze waren anonymisiert, und der Angreifer muss nicht wissen, wessen Daten er testet.

Diese Daten zu beschaffen ist die praktische Hürde, wenn auch keine hohe. Knolle sagte, da medizinische Daten nicht immer sicher gespeichert würden, sei unbefugter Zugriff auf die Datenbank einer Hausarztpraxis nach einem Routinebluttest nicht undenkbar.

Was die Autoren geändert haben wollen

Die Empfehlungen der Arbeit sind verfahrensbezogen und keine technischen Korrekturen an den Modellen selbst. Das Team will Datenschutzprüfungsstandards neu geschrieben sehen, damit sie Risiken auf individueller Ebene bewerten statt aggregierte Zahlen, und verweist auf Rahmenwerke für differenziellen Datenschutz als Weg zu mathematischen Garantien, dass Trainingsdaten anonym bleiben. Knolle schlug zudem vor, Trainingsdaten so zusammenzustellen, dass unterrepräsentierte Gruppen besser vertreten sind.

Der Einsatz ist nicht theoretisch. Eine separate, im April in JAMA Network Open veröffentlichte und von The Register aufgegriffene Studie ergab, dass 21 handelsübliche KI-Modelle bei der frühen Differenzialdiagnose in mehr als 8 von 10 Fällen versagten, während führende Modelle bei der endgültigen Diagnose 91 Prozent Genauigkeit erreichten. Marc Succi, Radiologe am Massachusetts General Hospital und Mitautor, sagte, solche Systeme sollten ohne strukturierte umfassende menschliche Prüfung nicht für patientennahe diagnostische Schlussfolgerungen verwendet werden.

Knolle versah das Datenschutzproblem mit einem Vorbehalt: Es gebe viele Situationen, in denen ein erfolgreicher Membership-Inference-Angriff einen geringen oder vernachlässigbaren Verstoß darstelle, nämlich wenn Modelle auf großen, allgemeinen Populationen trainiert würden, die gesunde und kranke Menschen umfassen. Die Schwierigkeit sei, dass die Ergebnisse der Arbeit genau zeigen, dass dies die Bedingungen sind, unter denen Prüfprotokolle Sicherheit annehmen, und genau die Bedingungen, die laut den Autoren nicht richtig gemessen werden.