Datenschutz-Audits für medizinische KI übersehen das Wichtigste: den einzelnen Patienten
Diagnostische KI-Modelle in der Medizin lassen sich dazu bringen, zu verraten, ob die Daten eines bestimmten Patienten zum Trainingsmaterial gehörten. Deutsche Forscher sagen, die übliche Art, solche Modelle auf Datenschutz zu prüfen, erfasst genau das nicht.

Deutsche Forscher haben am Mittwoch eine Arbeit in Nature veröffentlicht. Darin schreiben sie, diskriminative medizinische KI-Modelle seien für Membership-Inference-Angriffe (MIA) „besonders anfällig“. Diese Modelle klassifizieren Daten und treffen Vorhersagen über neue Eingaben. The Register berichtete am 24. Juni über die Ergebnisse.
Bei einem MIA fragt ein Angreifer ein Modell ab, um herauszufinden, ob ein bestimmter Datenpunkt im Trainingsset enthalten war. Für die medizinische KI heißt das: Ein Patient, dessen Akten dem Modell halfen, könnte exponiert werden, und Angaben zu Krankengeschichte und Diagnosen würden dabei nach außen dringen. Das Team untersuchte sieben Datensätze aus der medizinischen KI, mit Bildern, EKG-Aufzeichnungen und allgemeinen elektronischen Patientenakten. Es stellte fest, dass sich einzelne Patienten, auf die solche Angriffe zielten, mit dem identifizieren ließen, was die Forscher „nahezu perfekten Angriffserfolg“ nennen.
Aggregierte Kennzahlen verdecken das Problem
Die Forscher argumentieren, die derzeitige Bewertung medizinischer KI-Modelle auf Sicherheit bilde diese Erfolgsquote nicht ab. „Dass MIAs bei einzelnen Patienten nahezu perfekte Erfolgsquoten erreichen, wird vom Standardbewertungsprotokoll nicht ausreichend erfasst, weil es den Angriffserfolg über die Datensätze hinweg aggregiert misst“, schreiben sie. Auf dieser Grundlage kommen sie zu dem Schluss, dass sich die Berichtsstandards für Datenschutz-Audits von KI ändern müssen. Unterrepräsentierte Patienten lassen sich leichter identifizieren als andere. Ethnische Herkunft, Versicherungsstatus, Geschlecht, das Protokoll der medizinischen Bildgebung und bestimmte Krankheitszustände können laut der Arbeit alle als Ausreißer wirken. Diese Ausreißer machen die Membership Inference einfacher.
„Allgemein gesagt werden die Datenschutzrisiken durch MIAs schwerwiegender, je spezifischer die Trainingskohorte eines Modells ist“, sagte Moritz Knolle, Leiter des Lehrstuhls für KI in der Medizin an der Technischen Universität München und Erstautor der Arbeit, per E-Mail zu The Register.
Knolle nannte Beispiele, was diese Spezifität offenlegen könnte. „Man kann sich ... Szenarien vorstellen, in denen die Zugehörigkeit zu einem Trainingsdatensatz verrät, dass jemand eine ruhende genetische Erkrankung wie Chorea Huntington hat, an Depressionen leidet oder eine bestimmte Fachklinik besucht hat“, sagte er. Größere Datensätze lösen das Problem nicht. Laut dem Bericht von The Register über die Arbeit ist es umso leichter, Datensätze zu offenbaren, je größer der Datensatz ist. „Das Ausmaß dieser Veränderung des Risikos auf Patientenebene war zuvor unbekannt“ bei größeren Modellen.
Was ein Angreifer tatsächlich braucht
Ein MIA ist kein Angriff aus der Ferne ohne Eingaben. Knolle bestätigte, ein Angreifer brauche für die Durchführung Zugang zu einem Zieldatenpunkt. Die Forschung entkräftet aber auch eine Annahme, die diese Angriffe bisher unpraktisch erscheinen ließ: Der Zugang zu einer vollständigen Patientenakte ist nicht nötig. „In unserer Arbeit zeigen wir, dass ein Angreifer mit Teilzugang MIAs trotzdem erfolgreich durchführen kann“, sagte Knolle zu The Register.
Der Angriff selbst nutzt die Konfidenz des Modells aus. Medizinische KIs sind sich ihrer Vorhersagen eher sicherer, wenn die Eingabedaten bereits Teil ihres Trainingssets waren. Ein Angreifer speist die Patientendaten, die er erlangt hat, in das Modell ein, prüft die Konfidenz und schließt daraus, dass der Patient in den Trainingsdaten steckt.
„Ein Angreifer, der eine MIA durchführt, muss nicht wissen, wem die Daten gehören, mit denen er die MIA durchführen will“, sagte Knolle. „Tatsächlich waren alle Datensätze, die wir in unserer Studie verwenden, anonymisiert.“ Die Datensätze waren anonymisiert. Die Zieldaten nicht. Die Arbeit berichtet, die MIA-Angriffe seien auf Ebene des einzelnen Patienten weitgehend fehlerfrei gewesen. Die Konfidenzwerte sind also ein genaues Signal dafür, ob die Daten eines bestimmten Patienten in einem Trainingsset liegen. In der Praxis, so Knolle, „bräuchte der Angreifer einfach Zugang zu den Bluttestergebnissen von jemandem oder zu einem Teil dieser Ergebnisse“, um auf die Zugehörigkeit zu schließen. An diese Daten zu kommen, ist die verbleibende Hürde, und aus Knolles Sicht keine große. „Da medizinische Daten nicht immer sicher gespeichert sind, ist es nicht undenkbar, dass ein Angreifer Zugang erhält, etwa indem er sich nach einem Routinetest beim Hausarzt unbefugten Zugriff auf dessen Datenbank verschafft“, sagte er.
Empfehlungen und ein Vorbehalt
Die Forscher geben mehrere Empfehlungen. Eine ist der Einsatz von Differential-Privacy-Verfahren, die mathematisch garantieren sollen, dass Trainingsdaten anonym bleiben. Eine andere ist eine Reform der Datenschutz-Auditstandards, damit sie das Risiko auf individueller Ebene berücksichtigen und nicht nur das aggregierte Datenschutzrisiko. Eine dritte Option, so Knolle, ist es, Trainingsdaten für medizinische KI so zusammenzustellen, dass unterrepräsentierte Gruppen besser vertreten sind. Knolle schränkte auch ein, wie alarmierend eine einzelne MIA sein sollte. „Es gibt viele Situationen, in denen eine erfolgreiche MIA einen kleinen oder vernachlässigbaren Datenschutzverstoß darstellt“, merkte er an und verwies auf KI-Modelle, die auf großen allgemeinen Populationen trainiert wurden, in denen gesunde und kranke Menschen vertreten sind. Gefragt, was er sich von der Forschung erhofft, sagte Knolle, er wolle, dass die Gemeinschaft der medizinischen KI Datenschutzrisiken ernst nimmt und Techniken zur Risikominderung dort einsetzt, wo sie nötig sind.
Der andere Fehlermodus
Datenschutz ist nicht die einzige dokumentierte Schwäche medizinischer KI. Im April berichtete The Register über eine Studie in JAMA Network Open, die 21 führende KI-Modelle von der Stange anhand von 29 standardisierten klinischen Vignetten untersuchte. Bei der endgültigen Diagnose schnitten die Modelle gut ab, wenn sie ein vollständiges Portfolio medizinischer Informationen erhielten; die führenden Modelle lagen in 91 Prozent der Fälle richtig. Die frühe Differenzialdiagnose war eine andere Geschichte. Die Studie fand in dieser Phase eine Fehlerquote von über 80 Prozent. „Jedes Modell, das wir getestet haben, versagte in der überwiegenden Mehrheit der Fälle“, sagte Erstautor Arya Rao, Medizinstudent in Harvard, zu The Register. „Das ist die Phase, in der Unsicherheit am meisten zählt, und dort sind diese Systeme am schwächsten.“
Rao ergänzte, die strenge Fehlerkennzahl sei nicht die einzige Art, die Daten zu lesen. Die rohe Genauigkeit, also der Anteil richtiger Fälle, lag zwischen 63 und 78 Prozent. Das zeigt ihrer Ansicht nach, dass die Modelle oft teilweise richtig lagen, auch wenn sie keine vollständig korrekte Differenzialdiagnose lieferten. Dr. Marc Succi, Radiologe am Massachusetts General Hospital und Mitautor, sagte, die höhere Erfolgsquote bei der endgültigen Diagnose sollte nicht beruhigen. „Echtes klinisches Denken beginnt früher, wenn die Mehrdeutigkeit am größten ist, und genau dort bleiben sie am schwächsten“, sagte er zu The Register. Eine falsche Differenzialdiagnose könne zu Verzögerungen der Behandlung führen, zu unnötigen Eingriffen mit Komplikationen und zu hohen Kosten.
Beide Arbeiten zeigen dieselbe Lücke zwischen der Art, wie medizinische KI gemessen wird, und der Art, wie sie eingesetzt wird. Die eine misst Datenschutz aggregiert, während einzelne Patienten identifizierbar bleiben. Die andere bewertet endgültige Antworten, während die frühere, unsicherere Phase des Denkens unzuverlässig bleibt.
Quellen
2- 01Medical diagnosis AIs can be tricked into telling whose data trained themEN
- 02LLMs fail in 8 out of 10 early differential diagnosis casesEN
Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.
Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.
Kommentare
0- Noch keine Kommentare — seien Sie der Erste.