Medizinische KI verrät auf Anfrage, wessen Daten sie trainiert haben

Zuerst berichtete The Register am 24. Juni über das Ergebnis. Wichtiger als die Frage, was es abstrakt über die Sicherheit von Modellen beweist, ist, was es über die Datenschutzversprechen sagt, die Krankenhäuser, Versicherer und KI-Anbieter den Patienten gemacht haben. Lässt sich die Zugehörigkeit zu einem Trainingssatz bestätigen, wird der Trainingssatz selbst zu einem Offenlegungskanal. Das ist der unangenehme Teil.

Moritz Knolle leitet den Lehrstuhl für KI in Gesundheit und Medizin an der Technischen Universität München und führte die Arbeit. Die Exposition sei nicht hypothetisch, sagte er dem Register. „Man kann sich Szenarien vorstellen, in denen die Zugehörigkeit zu einem Trainingsdatensatz verrät, dass jemand eine ruhende genetische Erkrankung wie Chorea Huntington hat, an Depressionen leidet oder eine bestimmte Fachklinik besucht hat", sagte er. Das Szenario ist nicht exotisch. Es ist das gewöhnliche Geschäft der klinischen Dokumentation.

Die Angriffsklasse ist nicht neu. Membership-Inference-Angriffe, kurz MIA, werden seit Jahren in der Literatur zum maschinellen Lernen untersucht, und die grundsätzliche Form der Technik ist gut verstanden: Ein Modell ist bei Eingaben, die es schon gesehen hat, tendenziell sicherer. Ein Angreifer, der das Modell abfragen und seine Konfidenzwerte auslesen kann, kann daraus auf die Zugehörigkeit schließen. Was die Nature-Arbeit hinzufügt, sind Maßstab und klinische Genauigkeit. Das Team testete sieben medizinische KI-Datensätze mit Bildern, EKG-Aufzeichnungen und allgemeinen elektronischen Gesundheitsakten. Einzelne Patienten ließen sich mit dem identifizieren, was die Forscher eine nahezu perfekte Angriffserfolgsquote nennen. Dieses Ergebnis ist keine Laborneugier. Es ist eine Messung dessen, wie sich diese Modelle verhalten, wenn jemand ihnen die richtige Frage stellt.

Warum aggregierte Prüfungen es übersehen

Dieses Ergebnis widerspricht der Art, wie diese Modelle derzeit bewertet werden. Datenschutzprüfungen messen den Angriffserfolg in der Regel aggregiert über einen Datensatz, was einen beruhigenden Durchschnitt ergibt. Die Arbeit argumentiert, dass dies die falsche Analyseebene ist. „Die Tatsache, dass MIA bei einzelnen Patienten nahezu perfekte Erfolgsquoten erreichen können, wird durch das Standardbewertungsprotokoll, das den Angriffserfolg aggregiert über Datensätze misst, nicht angemessen erfasst", schreiben die Forscher. Ihre Schlussfolgerung: Die Berichtsstandards für KI-Datenschutzprüfungen müssen sich ändern.

Ein zweiter Befund steht neben dem ersten unbequem da. Patienten, die in einer Trainingskohorte unterrepräsentiert sind, lassen sich leichter identifizieren als andere, weil ihre Datenpunkte herausragen. Ethnische Herkunft, Versicherungsstatus, Geschlecht, das verwendete Bildgebungsprotokoll und bestimmte Krankheitszustände können alle als Ausreißer wirken. Knolles Zusammenfassung des Musters ist deutlich: „Allgemein gesprochen werden die Datenschutzrisiken durch MIA schwerwiegender, je spezifischer die Trainingskohorte eines Modells wird."

Je größer der Datensatz, desto leichter lassen sich einzelne Datensätze offenlegen, so die Arbeit. Die Forscher merken an, dass das Ausmaß dieser Veränderung des Risikos auf Patientenebene bei größeren Modellen zuvor unbekannt war. Für jeden, der annimmt, dass Maßstab Anonymität bringt, ist das kontraintuitiv. In der medizinischen Bildgebung und der Genomik bewirkt er oft das Gegenteil.

Was ein Angreifer tatsächlich braucht

Hier wird das praktische Bild komplizierter, und hier werden die Einschränkungen der Arbeit selbst wichtig. Um einen MIA gegen ein medizinisches Modell durchzuführen, muss der Angreifer bereits einige Daten der Person besitzen, die er identifizieren will. Knolle bestätigte das. „Um einen MIA durchzuführen, braucht ein Angreifer Zugang zu einem Zieldatenpunkt", sagte er dem Register, fügte aber hinzu, dass die Arbeit zeigt, dass eine vollständige Patientenakte entgegen früheren Annahmen nicht nötig ist. „In unserer Arbeit zeigen wir, dass ein Angreifer mit teilweisem Zugang MIA weiterhin erfolgreich durchführen kann."

Der Angreifer bräuchte einfach Zugang zu den Blutwerten von jemandem, oder zu einem Teil dieser Werte.

Das senkt die Hürde erheblich. Der Angriff funktioniert, indem die Teilakte dem Modell vorgelegt, das Konfidenzniveau ausgelesen und daraus geschlossen wird, dass der Patient im Trainingssatz ist. Die in der Studie verwendeten Datensätze waren anonymisiert. Knolle weist darauf hin, dass der Angreifer nicht wissen muss, wem die Daten gehören, um die Abfrage auszuführen. Die Verknüpfung zwischen anonymisierten Trainingsdaten und einer namentlich bekannten Person muss von woanders kommen, aber dieses Woanders ist oft ein Datenleck.

Datenschutzverletzungen im Gesundheitswesen sind häufig genug, dass dies kein theoretisches Problem ist. Knolle skizziert das Szenario schlicht: Ein Angreifer erlangt nach einer Routineblutuntersuchung unbefugten Zugang zur Datenbank eines Hausarztes und kann von dort aus das Modell sondieren.

Auf die Frage, was er mit der Forschung erreichen will, sagte Knolle, er hoffe, dass die Gemeinschaft der medizinischen KI die Datenschutzrisiken ernst nimmt und Gegenmaßnahmen dort einsetzt, wo sie nötig sind. Die Arbeit empfiehlt Rahmenwerke für differenziellen Datenschutz, die mathematische Garantien dafür geben sollen, dass Trainingsdaten anonym bleiben, und einen überarbeiteten Prüfstandard, der Risiken auf individueller Ebene statt aggregiert berichtet. Eine dritte Option, die Knolle nannte, ist, Trainingsdaten so zusammenzustellen, dass unterrepräsentierte Gruppen besser vertreten sind. Dadurch verringert sich der Ausreißereffekt, der sie leicht identifizierbar macht.

Er warnte auch davor, jeden erfolgreichen MIA als schwerwiegenden Verstoß zu behandeln. „Es gibt viele Situationen, in denen ein erfolgreicher MIA einen kleinen oder vernachlässigbaren Datenschutzverstoß darstellt", merkte er an und verwies auf Modelle, die auf großen, allgemeinen Populationen trainiert wurden, in denen sowohl gesunde als auch kranke Personen vertreten sind.

Die Regulierungslücke

Gemessen an der aktuellen Regulierungslandschaft landet die Arbeit in einem Raum, den Regeln bisher nur schwer füllen konnten. Datenschutzprüfungen für medizinische KI konzentrieren sich meist darauf, ob Daten rechtmäßig erhoben und ob Identifikatoren entfernt wurden. Ob das Modell selbst befragt werden kann, um die Zugehörigkeit zu rekonstruieren, prüfen sie nicht. Differenzieller Datenschutz ist als Technik verfügbar, aber nicht einheitlich vorgeschrieben. Das Argument der Arbeit ist im Kern, dass das Bewertungsregime das Falsche misst.

Diese Lücke ist nicht auf Europa beschränkt. Regulierungsbehörden in mehreren Jurisdiktionen arbeiten daran, wie KI-Werkzeuge für den klinischen Einsatz klassifiziert und beaufsichtigt werden sollen, mit Vorschlägen von Zulassungsregimen vor dem Inverkehrbringen bis zu leichteren Leitlinien für Anwendungen mit geringerem Risiko. Keines der kursierenden Rahmenwerke, soweit es die Autoren der Arbeit betrifft, adressiert das Mitgliedschaftsrisiko auf individueller Ebene, das ihre Experimente zeigen.

Eine parallele Beweislage legt nahe, dass die diagnostische Leistung dieser Systeme ebenfalls schwächer ist, als das Marketing impliziert. Eine im April in JAMA Network Open veröffentlichte Studie unter der Leitung des Harvard-Medizinstudenten Arya Rao, über die The Register am 15. April berichtete, testete 21 marktübliche KI-Modelle an 29 standardisierten klinischen Vignetten. Die Modelle schnitten gut ab, wenn ihnen ein vollständiges Portfolio an Informationen vorgelegt und eine endgültige Diagnose verlangt wurde, wobei führende Modelle in 91 Prozent der Fälle richtig lagen. Die frühe Differenzialdiagnose, die Phase, in der Kliniker konkurrierende Möglichkeiten abwägen, scheiterte in mehr als 8 von 10 Fällen.

„Jedes Modell, das wir getestet haben, scheiterte in der überwiegenden Mehrheit der Fälle", sagte Rao dem Register. „Das ist die Phase, in der Unsicherheit am wichtigsten ist, und dort sind diese Systeme am schwächsten." Dr. Marc Succi, Radiologe am Massachusetts General Hospital und Mitautor, sagte, die Ergebnisse legten nahe, dass man den heutigen marktüblichen Modellen ohne strukturierte, umfassende menschliche Überprüfung nicht für patientennahe diagnostische Schlussfolgerungen vertrauen sollte.

Rao merkte auch an, dass die strengere Fehlermetrik nicht die ganze Geschichte war. Gemessen als reine Genauigkeit lag der Anteil der Fälle, in denen ein Modell die Antwort vollständig richtig hatte, zwischen 63 und 78 Prozent. Die Modelle lagen damit oft teilweise richtig, selbst wenn sie unter der strengeren Definition scheiterten.

Die beiden Arbeiten weisen aus unterschiedlichen Blickwinkeln in dieselbe Richtung. Die eine zeigt, dass die Modelle preisgeben können, wer in ihren Trainingsdaten war. Die andere zeigt, dass sie in der Phase des Schlussfolgerns unzuverlässig sind, in der der klinische Nutzen am höchsten ist. Keiner der beiden Befunde ist für sich genommen fatal, und keiner schließt einen sinnvollen Einsatz in engen, gut überwachten Umgebungen aus.

Was sie untergraben, ist die Annahme, dass aktuelle Datenschutzprüfungen und Leistungsbenchmarks zusammen ausreichen, um eine medizinische KI als sicher zu zertifizieren. Die Autoren der Nature-Arbeit wollen Prüfstandards neu geschrieben haben, die Risiken auf individueller Ebene berichten. Das JAMA-Team will, dass Marketingaussagen über diagnostische Agenten zur Beweislage passen. Beide fordern dasselbe: eine Bewertung, die widerspiegelt, wie diese Systeme scheitern, nicht wie sie im Durchschnitt erfolgreich sind.