Datenschutz-Audits für medizinische KI übersehen Lecks auf Patientenebene, zeigt Nature-Arbeit

Ein deutsches Forschungsteam prüfte sieben medizinische KI-Datensätze aus Bilddaten, EKG-Aufzeichnungen und allgemeinen elektronischen Gesundheitsakten. Bei Membership-Inference-Angriffen (MIA) fragen Angreifer ein Modell ab, um herauszufinden, ob ein bestimmter Datenpunkt in seinem Trainingssatz liegt. Bei einzelnen Patienten funktionierten diese Angriffe weit besser, als aggregierte Datenschutzmetriken vermuten lassen, berichtete The Register am 24. Juni.

Die Schlussfolgerung der Arbeit kommt für alle unangenehm, die medizinische KI nach den geltenden Regeln prüfen. "Die Tatsache, dass MIAs bei einzelnen Patienten nahezu perfekte Erfolgsquoten erreichen können, wird durch das Standardbewertungsprotokoll nicht angemessen erfasst, das den Angriffserfolg aggregiert über alle Datensätze misst", schreiben die Forschenden. Sie fordern, die Berichtsstandards für Datenschutz-Audits von KI zu ändern.

Wer am leichtesten zu identifizieren ist

Patienten, die in einem Trainingssatz unterrepräsentiert sind, lassen sich am leichtesten markieren. Herkunft, Versicherungsstatus, Geschlecht, das verwendete Bildgebungsprotokoll und bestimmte Krankheitszustände können laut der Arbeit als Ausreißer wirken und einen Angriff schärfen.

Moritz Knolle leitet den Lehrstuhl für KI in Gesundheit und Medizin an der Technischen Universität München und führte die Arbeit. Gegenüber The Register beschrieb er per E-Mail, worum es in der Praxis geht. "Allgemein gesprochen werden Datenschutzrisiken durch MIAs schwerwiegender, je spezifischer die Trainingskohorte eines Modells wird", sagte er. Eine Mitgliedschaft könne eine ruhende genetische Erkrankung wie Chorea Huntington offenlegen, eine Depression oder den Besuch einer spezialisierten Behandlungsklinik. Anders gesagt: Ein geleakter Trainingssatz kann Erkrankungen offenlegen, die Betroffene nirgendwo sonst angegeben haben.

Zwei weitere Befunde verschlechtern das Bild. Je größer der Datensatz, desto leichter lassen sich einzelne Datensätze offenlegen. Die Arbeit hält fest, dass das Ausmaß dieser Verschiebung des Risikos auf Patientenebene bei größeren Modellen bisher nicht gemessen worden war.

Was ein Angreifer tatsächlich braucht

Der Angriff nutzt eine einfache Eigenheit: Eine medizinische KI ist in der Regel sicherer, wenn die Eingabe bereits Teil ihrer Trainingsdaten war. Ein Angreifer speist Patientendaten ein, liest das Konfidenzniveau ab und leitet daraus die Mitgliedschaft ab.

"In unserer Arbeit zeigen wir, dass ein Angreifer mit Teilzugang MIAs weiterhin erfolgreich durchführen kann", sagte Knolle zu The Register.

Das ist wichtig, weil man früher annahm, es brauche eine vollständige Patientenakte. Knolle sagte, ein Angreifer müsse "einfach Zugang zu den Blutergebissen einer Person haben, oder zu einem Teil dieser Ergebnisse", um auf die Zugehörigkeit zu schließen. Die in der Studie verwendeten Datensätze seien anonymisiert gewesen, die Zieldaten müssen es also nicht sein.

An diese Daten zu gelangen, ist der schwierigere Teil, aber nicht unmöglich schwer. Knolle verwies auf die Häufigkeit von Datenschutzverletzungen im Gesundheitswesen und deutete an, ein Angreifer könne nach einer Routineblutuntersuchung unbefugten Zugang zur Datenbank eines Hausarztes erlangen.

Warum die Audit-Regeln die eigentliche Geschichte sind

Die Arbeit behauptet nicht, jeder erfolgreiche MIA sei ein Skandal. Knolle sagte zu The Register, viele erfolgreiche Angriffe stellten einen kleinen oder vernachlässigbaren Datenschutzverstoß dar. Er nannte den Fall von Modellen, die auf großen, allgemeinen Populationen trainiert wurden, in denen gesunde und kranke Menschen beide gut vertreten sind. Das Problem ist enger und schwerer zu regulieren: spezifische Kohorten, seltene Erkrankungen und jede Gruppe, die in den Trainingsdaten zu selten auftaucht.

Im April prüfte eine separate Studie in JAMA Network Open unter Leitung des Harvard-Medizinstudenten Arya Rao 21 handelsübliche KI-Modelle an 29 klinischen Vignetten. Die Modelle erreichten in 91 Prozent der Fälle die korrekte endgültige Diagnose, scheiterten aber bei der frühen Differenzialdiagnose in mehr als 8 von 10 Fällen, berichtete The Register am 15. April. Mitautor Dr. Marc Succi, Radiologe am Massachusetts General Hospital, sagte, solche Systeme "können Sicherheit ausstrahlen, ohne robustes Schlussfolgern zu zeigen". Das Muster ist dasselbe, das die Datenschutzarbeit ausnutzt: Die Konfidenz eines Modells ist kein verlässliches Signal, und sie wird in zwei sehr verschiedenen Kontexten als eines verwendet.

Die Regulierungsbehörden bewegen sich, doch die Richtung ist unklar. Zu den jüngsten Schlagzeilen, die als Kontext gesammelt wurden, gehören ein britischer Vorschlag für eine "L-Platte"-Regulierung der KI im Gesundheitswesen, Regelungen auf Bundesstaatsebene in den USA und Leitlinien der australischen TGA zu medizinischen KI-Geräten. Nichts davon adressiert die konkrete Lücke, die Knolles Team identifiziert hat, denn die Lücke liegt darin, wie Datenschutz gemessen wird, und nicht darin, ob ein Gerät zugelassen ist.

Die Forschenden empfehlen Rahmenwerke für differenziellen Datenschutz, die eine mathematische Garantie geben sollen, dass Trainingsdaten anonym bleiben, sowie eine Neufassung der Standards für Datenschutz-Audits, damit sie Risiken auf individueller Ebene bewerten statt aggregierte Risiken. Eine dritte Option, die Knolle nannte, ist direkter: Trainingsdaten so zusammenstellen, dass unterrepräsentierte Gruppen häufiger vorkommen, was den Ausreißereffekt verringert, der sie überhaupt identifizierbar macht.

"Ich hoffe, dass die Gemeinschaft der medizinischen KI beginnen wird, Datenschutzrisiken ernst zu nehmen, und dass Risikominderungstechniken dort eingesetzt werden, wo sie notwendig sind", sagte Knolle zu The Register.