Zum Inhalt
WeltzeitEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal über KI und Technologieereignisse · analysen · interviews · technischer hintergrund

Suche
LIVE
›

Medizinische KIs verraten auf Anfrage, wessen Daten sie trainiert haben, zeigt eine Nature-Studie

Diskriminative medizinische KI-Modelle lassen sich dazu bringen, zu bestätigen, ob die Akte eines bestimmten Patienten Teil ihrer Trainingsdaten war. Das berichten deutsche Forscher in einer am 24. Juni veröffentlichten Nature-Studie; bei einzelnen Patienten gelang der Angriff nahezu perfekt.

GesundheitAnalyseHanna VogtVeröffentlicht: 28. September 20267 Min. LesezeitQuellen 2
Medizinische KIs verraten auf Anfrage, wessen Daten sie trainiert haben, zeigt eine Nature-Studie

Der Befund, den The Register am 24. Juni zuerst meldete, ist weniger wichtig dafür, was er abstrakt über die Sicherheit von Modellen beweist, als dafür, was er über die Datenschutzversprechen sagt, die Krankenhäuser, Versicherer und KI-Anbieter den Patienten gemacht haben. Lässt sich die Zugehörigkeit zu einem Trainingsset bestätigen, wird das Trainingsset selbst zum Kanal, über den Daten nach außen dringen. Das ist der unangenehme Teil.

Moritz Knolle, der an der Technischen Universität München den Lehrstuhl für KI in Gesundheit und Medizin innehat und die Studie leitete, sagte dem Register, die Gefahr sei nicht hypothetisch. "Man kann sich Szenarien vorstellen, in denen die Zugehörigkeit zu einem Trainingsdatensatz verrät, dass jemand eine schlummernde genetische Erkrankung wie Chorea Huntington hat, an Depressionen leidet oder eine bestimmte Fachklinik aufgesucht hat", sagte er. Das Szenario ist nicht exotisch. Es ist der normale Alltag der Krankenakte.

Die Angriffsklasse ist nicht neu. Membership-Inference-Angriffe, kurz MIA, werden seit Jahren in der Literatur zum maschinellen Lernen untersucht, und die Grundform der Technik ist gut verstanden: Ein Modell ist bei Eingaben, die es schon gesehen hat, meist sicherer. Wer das Modell also abfragen und seine Konfidenzwerte lesen kann, kann auf die Zugehörigkeit schließen. Was die Nature-Studie hinzufügt, sind Größenordnung und klinische Genauigkeit. Das Team testete sieben medizinische KI-Datensätze mit Bildern, EKG-Aufzeichnungen und allgemeinen elektronischen Gesundheitsakten und stellte fest, dass sich einzelne Patienten mit dem, was die Forscher als nahezu perfekten Angriffserfolg beschreiben, identifizieren ließen. Das Ergebnis ist keine Laborkuriosität. Es misst, wie sich diese Modelle verhalten, wenn jemand ihnen die richtige Frage stellt.

Warum aggregierte Prüfungen das übersehen

Das Ergebnis widerspricht der Art, wie diese Modelle derzeit bewertet werden. Datenschutzprüfungen messen den Angriffserfolg in der Regel aggregiert über einen Datensatz und erzeugen so einen beruhigenden Durchschnitt. Die Studie argumentiert, dass dies die falsche Analyseeinheit ist. "Dass MIAs bei einzelnen Patienten nahezu perfekte Erfolgsraten erreichen, wird vom Standardprotokoll der Evaluation nicht angemessen erfasst, weil es den Angriffserfolg aggregiert über die Datensätze misst", schreiben die Forscher. Ihre Schlussfolgerung: Die Berichtsstandards für Datenschutzprüfungen von KI müssen sich ändern.

Ein zweiter Befund steht unangenehm neben dem ersten. Patienten, die in einer Trainingskohorte unterrepräsentiert sind, lassen sich leichter identifizieren als andere, weil ihre Datenpunkte auffallen. Herkunft, Versicherungsstatus, Geschlecht, das verwendete Bildgebungsprotokoll und bestimmte Krankheitszustände können alle als Ausreißer wirken. Knolles Zusammenfassung des Musters ist deutlich: "Generell werden die Datenschutzrisiken durch MIAs schwerwiegender, je spezifischer die Trainingskohorte eines Modells wird."

Je größer der Datensatz, desto leichter lassen sich einzelne Datensätze nach Angaben der Studie offenlegen, und die Forscher merken an, dass das Ausmaß dieser Veränderung des Risikos auf Patientenebene bei größeren Modellen bisher unbekannt war. Für alle, die annehmen, Größe bringe Anonymität, ist das ein kontraintuitives Ergebnis. In der medizinischen Bildgebung und der Genomik bewirkt sie oft das Gegenteil.

Was ein Angreifer tatsächlich braucht

Hier wird das praktische Bild komplizierter, und hier zählen die Einschränkungen der Studie selbst. Um eine MIA gegen ein medizinisches Modell zu fahren, muss der Angreifer bereits einige Daten der Person besitzen, die er identifizieren will. Knolle bestätigte das. "Für eine MIA braucht ein Angreifer Zugang zu einem Zieldatenpunkt", sagte er dem Register, fügte aber hinzu, dass die Studie zeigt, dass eine vollständige Patientenakte nicht nötig ist, anders als bisher angenommen. "In unserer Studie zeigen wir, dass ein Angreifer mit teilweisem Zugang MIAs weiterhin erfolgreich durchführen kann."

Der Angreifer müsste einfach Zugang zu den Bluttestergebnissen einer Person haben, oder zu einem Teil davon.

Das senkt die Hürde erheblich. Der Angriff funktioniert, indem der Teilbefund dem Modell vorgelegt, das Konfidenzniveau abgelesen und daraus geschlossen wird, dass der Patient im Trainingsset ist. Die in der Studie verwendeten Datensätze waren anonymisiert, und Knolle weist darauf hin, dass der Angreifer nicht wissen muss, wem die Daten gehören, um die Abfrage zu starten. Die Verknüpfung zwischen anonymisierten Trainingsdaten und einer namentlich bekannten Person muss von woanders kommen, und dieses Woanders ist oft eine Datenpanne.

Datenpannen im Gesundheitswesen sind häufig genug, dass dies kein theoretisches Problem ist. Knolle skizziert das Szenario schlicht: Ein Angreifer erlangt nach einem Routinebluttest unbefugten Zugriff auf die Datenbank einer Hausarztpraxis und kann von dort aus das Modell abfragen.

Auf die Frage, was seine Forschung erreichen soll, sagte Knolle, er hoffe, dass die medizinische KI-Community Datenschutzrisiken ernst nimmt und Schutztechniken dort einsetzt, wo sie nötig sind. Die Studie empfiehlt Frameworks für differenzielle Privatsphäre, die mathematische Garantien dafür geben sollen, dass Trainingsdaten anonym bleiben, und einen überarbeiteten Prüfstandard, der Risiken auf Individualebene statt aggregiert ausweist. Eine dritte Option, die Knolle nannte, ist, Trainingsdaten so zusammenzustellen, dass unterrepräsentierte Gruppen besser vertreten sind und der Ausreißereffekt sinkt, der sie leicht identifizierbar macht.

Er warnte zugleich davor, jede erfolgreiche MIA als schwerwiegenden Verstoß zu behandeln. "Es gibt viele Situationen, in denen eine erfolgreiche MIA einen kleinen oder vernachlässigbaren Datenschutzverstoß darstellt", merkte er an und verwies auf Modelle, die auf großen allgemeinen Populationen trainiert sind, in denen gesunde und kranke Personen vertreten sind.

Die Regelungslücke

Gegen das derzeitige Regelungsumfeld gehalten, landet die Studie in einem Raum, den Vorschriften bisher kaum füllen. Datenschutzprüfungen für medizinische KI konzentrieren sich meist darauf, ob Daten rechtmäßig erhoben und Identifikatoren entfernt wurden, nicht darauf, ob das Modell selbst befragt werden kann, um die Zugehörigkeit zu rekonstruieren. Differenzielle Privatsphäre ist als Technik verfügbar, aber nicht einheitlich vorgeschrieben, und das Argument der Studie läuft im Kern darauf hinaus, dass das Bewertungsregime das Falsche misst.

Diese Lücke ist nicht auf Europa beschränkt. Aufsichtsbehörden in mehreren Jurisdiktionen arbeiten daran, wie KI-Werkzeuge für den klinischen Einsatz einzuordnen und zu beaufsichtigen sind, mit Vorschlägen von Zulassungsverfahren vor dem Markteintritt bis zu leichteren Leitlinien für Anwendungen mit geringerem Risiko. Keines der kursierenden Rahmenwerke adressiert nach Auffassung der Autoren das Risiko auf Individualebene, das ihre Experimente zeigen.

Es gibt eine parallele Beweislage, die nahelegt, dass auch die diagnostische Leistung dieser Systeme schwächer ist, als das Marketing nahelegt. Eine im April in JAMA Network Open veröffentlichte Studie unter Leitung des Harvard-Medizinstudenten Arya Rao, über die The Register am 15. April berichtete, testete 21 handelsübliche KI-Modelle an 29 standardisierten klinischen Vignetten. Die Modelle schnitten gut ab, wenn sie ein vollständiges Informationsportfolio erhielten und eine endgültige Diagnose stellen sollten; führende Modelle lagen in 91 Prozent der Fälle richtig. Die frühe Differenzialdiagnose, also die Phase, in der Kliniker konkurrierende Möglichkeiten abwägen, scheiterte in mehr als 8 von 10 Fällen.

"Jedes Modell, das wir getestet haben, scheiterte in der überwiegenden Mehrheit der Fälle", sagte Rao dem Register. "Das ist die Phase, in der Unsicherheit am wichtigsten ist, und dort sind diese Systeme am schwächsten." Dr. Marc Succi, Radiologe am Massachusetts General Hospital und Mitautor, sagte, die Ergebnisse legten nahe, dass man heutigen handelsüblichen Modellen ohne strukturierte, umfassende menschliche Prüfung keine patientennahe diagnostische Schlussfolgerung anvertrauen sollte.

Rao merkte zudem an, dass die strengere Fehlermetrik nicht die ganze Geschichte erzählt. Gemessen als reine Trefferquote lag der Anteil der Fälle, in denen ein Modell die Antwort vollständig richtig hatte, zwischen 63 und 78 Prozent, was nach ihren Worten nahelegt, dass die Modelle oft teilweise richtig lagen, auch wenn sie unter der strengeren Definition scheiterten.

Die beiden Studien weisen aus unterschiedlichen Richtungen in dieselbe Richtung. Die eine zeigt, dass die Modelle verraten können, wer in ihren Trainingsdaten war. Die andere zeigt, dass sie in der Denkphase unzuverlässig sind, in der der klinische Wert am höchsten ist. Keiner der Befunde ist für sich fatal, und keiner schließt einen nützlichen Einsatz in engen, gut beaufsichtigten Settings aus.

Was sie untergraben, ist die Annahme, dass derzeitige Datenschutzprüfungen und Leistungsbenchmarks zusammen ausreichen, um eine medizinische KI als sicher zu zertifizieren. Die Autoren der Nature-Studie wollen Prüfstandards, die Risiken auf Individualebene ausweisen. Das JAMA-Team will, dass Marketingaussagen über diagnostische Agenten zur Evidenz passen. Beide verlangen dasselbe: eine Bewertung, die zeigt, wie diese Systeme scheitern, nicht wie sie im Durchschnitt erfolgreich sind.

Kommentare 0

Quellen

2
  1. 01Medical diagnosis AIs can be tricked into telling whose data trained themEN
  2. 02LLMs fail in 8 out of 10 early differential diagnosis casesEN

Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.

Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.

Hanna Vogt

Hanna Vogt

Wissenschaft und Gesundheit

Hanna Vogt schreibt für FLASH24 über Wissenschaft und Gesundheit und stützt sich dabei auf Primärstudien, Behördenberichte und Rohdaten statt auf Pressemitteilungen. Bei Zahlen prüft sie Stichprobengrößen, Konfidenzintervalle und ob die zitierte Quelle die Aussage tatsächlich deckt. Für ihre Texte spricht sie mit Studienautorinnen, wartet auf Peer-Review-Fassungen und vergleicht Vorabdrucke mit der finalen Publikation. Dass sie privat Materialphysik verfolgt und mit eigenem Teleskop den Himmel beobachtet, erklärt, warum sie bei Messmethoden und Instrumenten genau nachfragt. Sie publiziert keine Ergebnisse, deren Datengrundlage sie nicht selbst eingesehen hat.

Redaktion →

Kommentare

0
  1. Noch keine Kommentare — seien Sie der Erste.

Kommentar schreiben

Kommentare sind öffentlich sichtbar. Wir veröffentlichen keine Beleidigungen, Werbung oder Spam.