Patienten im Trainingsset sind leicht zu erkennen, und Datenschutz-Audits merken es nicht
Medizinische KI-Modelle, die mit Patientendaten trainiert wurden, lassen sich so abfragen, dass sie verraten, wer in ihren Trainingsdaten steckt. Deutsche Forscher berichten in einer am 24. Juni in Nature veröffentlichten Arbeit von einer "nahezu perfekten Erfolgsquote" der Angriffe auf Ebene einzelner Patienten.

Membership-Inference-Angriffe (MIA) fragen ein Modell, ob ein bestimmter Datensatz zu seinem Trainingsset gehörte. Laut The Register, das die Ergebnisse am 24. Juni meldete, sind diskriminative medizinische KI-Modelle dafür besonders anfällig: Sie werden darauf trainiert, Eingaben zu klassifizieren, und werden messbar sicherer bei Daten, die sie schon gesehen haben.
Diese Sicherheit ist das Leck. Das Team untersuchte sieben medizinische KI-Datensätze mit Bildern, EKG-Aufzeichnungen und allgemeinen elektronischen Patientenakten. Angegriffene Patienten ließen sich mit dem, was die Arbeit als nahezu perfekten Erfolg beschreibt, identifizieren. Dieses Ergebnis erfasse die Standardbewertung nicht, schreiben die Autoren, weil sie die Erfolgsquote über alle Datensätze hinweg im Durchschnitt messe und nicht pro Person.
Ausreißer lassen sich am leichtesten enttarnen
Unterrepräsentierte Gruppen in einer Trainingskohorte sind leichter zu identifizieren als typische Patienten. Herkunft, Versicherungsstatus, Geschlecht, das verwendete Bildgebungsprotokoll und bestimmte Krankheitsstatus können alle als Ausreißer wirken.
Generell werden die Datenschutzrisiken durch MIA schwerwiegender, je spezifischer die Trainingskohorte eines Modells ist.
Das sagt Moritz Knolle, der an der Technischen Universität München den Lehrstuhl für KI in Gesundheitswesen und Medizin innehat und die Arbeit leitete, in einer E-Mail an The Register. Er nannte das Beispiel eines Modells, dessen Mitgliederliste verraten würde, dass jemand eine ruhende genetische Erkrankung wie Chorea Huntington hat, an Depressionen leidet oder eine bestimmte Fachklinik besucht hat. Größere Datensätze machten die Sache schlimmer, nicht besser: Wie stark sich das Risiko auf Patientenebene in größeren Modellen verändert, sei bisher unbekannt gewesen, heißt es in der Arbeit.
Der Angriff braucht außerdem weniger, als Forscher früher annahmen. Knolle sagte The Register, ein Angreifer benötige normalerweise Zugang zu einem Zieldatenpunkt, und die Arbeit zeige, dass teilweiser Zugang genügt. Blutwerte oder ein Teil davon reichten aus. Alle in der Studie verwendeten Datensätze waren anonymisiert, und der Angreifer muss nicht wissen, wessen Daten er testet.
An diese Daten zu kommen, ist die praktische Hürde, allerdings keine hohe. Weil medizinische Daten nicht immer sicher gespeichert seien, sei ein unbefugter Zugriff auf die Datenbank einer Hausarztpraxis nach einem Routine-Bluttest nicht undenkbar, sagte Knolle.
Was die Autoren geändert sehen wollen
Die Empfehlungen der Arbeit betreffen Verfahren, nicht technische Korrekturen an den Modellen selbst. Das Team will Datenschutz-Auditstandards neu fassen, damit sie das Risiko für einzelne Personen bewerten statt aggregierte Zahlen. Es verweist auf Differential-Privacy-Rahmenwerke als Weg zu mathematischen Garantien, dass Trainingsdaten anonym bleiben. Knolle regte zudem an, Trainingsdaten so zusammenzustellen, dass unterrepräsentierte Gruppen besser vertreten sind.
Es geht nicht um Theorie. Eine separate Studie, im April in JAMA Network Open erschienen und von The Register aufgegriffen, fand, dass 21 handelsübliche KI-Modelle bei der frühen Differenzialdiagnose in mehr als 8 von 10 Fällen scheiterten, während führende Modelle bei der endgültigen Diagnose 91 Prozent Genauigkeit erreichten. Marc Succi, Radiologe am Massachusetts General Hospital und Mitautor, sagte, solchen Systemen sollte man ohne strukturierte, umfassende menschliche Prüfung keine diagnostische Entscheidung für Patienten überlassen.
Knolle ordnete das Datenschutzproblem mit einer Einschränkung ein: In vielen Situationen sei ein erfolgreicher Membership-Inference-Angriff ein kleiner oder vernachlässigbarer Verstoß, nämlich dann, wenn Modelle mit großen, allgemeinen Populationen trainiert werden, die gesunde und kranke Menschen umfassen. Die Schwierigkeit: Genau diese Bedingungen sind es, unter denen Auditprotokolle Sicherheit annehmen, und genau diese Bedingungen werden nach Darstellung der Autoren nicht richtig gemessen.
Quellen
2- 01Medical diagnosis AIs can be tricked into telling whose data trained themEN
- 02LLMs fail in 8 out of 10 early differential diagnosis casesEN
Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.
Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.
Kommentare
0- Noch keine Kommentare — seien Sie der Erste.