Medizinische KI verrät, mit welchen Patienten sie trainiert wurde
Medizinische Diagnose-KI-Modelle lassen sich dazu bringen, preiszugeben, ob die Daten eines bestimmten Patienten zum Training verwendet wurden. Das berichten deutsche Forscher in einer am Mittwoch veröffentlichten Nature-Studie; bei einzelnen Patienten gelang der Nachweis nahezu immer. Der Befund fällt in eine Zeit, in der FDA, EU und WHO die Regeln für die Prüfung solcher Geräte noch schreiben.

Der Angriff heißt Membership Inference Attack, kurz MIA. The Register berichtete am 24. Juni, dass das Team sieben medizinische KI-Datensätze untersuchte, darunter Bilder, EKG-Aufzeichnungen und allgemeine elektronische Patientenakten. Einzelne Patienten, auf die solche Angriffe zielen, ließen sich mit dem, was die Forscher nahezu perfekten Angriffserfolg nennen, identifizieren. Diese Zahl erfasst das übliche Bewertungsprotokoll nicht, heißt es in der Studie, weil es den Angriffserfolg über alle Datensätze hinweg im Durchschnitt misst.
Medizinische KI-Systeme sind sicherer, wenn die Eingabedaten bereits in ihrem Trainingssatz liegen. Ein Angreifer speist Patientendaten in ein Modell ein, liest die Konfidenz ab und schließt daraus, dass der Patient zur Trainingskohorte gehörte.
Moritz Knolle von der Technischen Universität München, Erstautor der Studie, sagte The Register, ein Angreifer müsse nicht wissen, wem die Daten gehören. "Tatsächlich waren alle Datensätze, die wir in unserer Studie verwenden, anonymisiert", sagte er. Teilzugriff reicht. "Der Angreifer bräuchte einfach Zugang zu den Blutergebnisse einer Person oder zu einem Teil dieser Ergebnisse."
Ausreißer lassen sich am leichtesten benennen
Das Muster, wer exponiert wird, ist unbequem. Unterrepräsentierte Gruppen in medizinischen Trainingsdaten lassen sich leichter identifizieren als Patienten, deren Akten sich einordnen. Die Studie nennt ethnische Herkunft, Versicherungsstatus, Geschlecht, das verwendete Bildgebungsprotokoll und bestimmte Krankheitszustände als Kategorien, die als Ausreißer wirken können. Knolles Zusammenfassung für The Register: "Allgemein gesprochen werden die Datenschutzrisiken durch MIA schwerwiegender, je spezifischer die Trainingskohorte eines Modells wird."
Er nannte das Beispiel einer Trainingskohorte, die eine ruhende genetische Erkrankung wie Chorea Huntington verrät, oder eine Depression, oder den Besuch einer spezialisierten Behandlungsklinik. Die Zugehörigkeit selbst gibt also die Diagnose preis. Die Studie ergab außerdem: Je größer der Datensatz, desto leichter lassen sich Akten exponieren, und wie stark sich das Risiko auf Patientenebene bei größeren Modellen verschiebt, war bisher nicht bekannt.
Der Angreifer braucht einige medizinische Daten über die Personen, die er identifizieren will. Datenschutzverletzungen im Gesundheitswesen sind häufig genug, dass das keine hohe Hürde ist. Knolle nannte das Szenario eines unbefugten Zugriffs auf die Datenbank einer Hausarztpraxis nach einer Routineblutuntersuchung.
Sein erklärtes Ziel ist eng umrissen: Die medizinische KI-Gemeinschaft solle Datenschutzrisiken ernst nehmen und Schutzmaßnahmen anwenden, wo sie nötig sind. Die Studie empfiehlt Verfahren der differenziellen Privatsphäre, die mathematisch garantieren sollen, dass Trainingsdaten anonym bleiben, und eine Neufassung der Datenschutz-Auditstandards, damit sie Risiken auf individueller Ebene messen statt im Durchschnitt. Trainingsdaten so zusammenzustellen, dass unterrepräsentierte Gruppen besser vertreten sind, ist eine weitere Option, die er nannte.
Die Regulierer holen noch die Grundlagen auf
Das fällt in ein regulatorisches Bild, das sich ungleichmäßig bewegt. IntuitionLabs beziffert in einem am 18. August aktualisierten Bericht die Zahl der von der FDA zugelassenen KI- und Machine-Learning-Geräte Mitte 2024 auf rund 950, mit etwa 100 neuen Zulassungen pro Jahr. Marktanalysten, die derselbe Bericht zitiert, bewerteten KI-gestützte Medizinprodukte 2024 mit 13.700.000.000 Dollar und prognostizierten mehr als 255.000.000.000 Dollar bis 2033. Die Radiologie dominiert die Zulassungen, Kardiologie, Neurologie, Anästhesiologie und Ophthalmologie wachsen.
Derselbe Bericht merkt an, dass systematische Reviews nur einen winzigen Bruchteil der zugelassenen KI-Geräte durch randomisierte Studien oder Daten zu Patientenergebnissen gestützt sehen, und dass Fehlfunktionen von Geräten mit Verletzungen in Verbindung gebracht wurden und in einem gemeldeten Fall mit einem Todesfall. Er zitiert ein Triage-Werkzeug für Intensivstationen, das Schwarze Patienten für eine zusätzliche Betreuung zu selten erkannte, und Koloskopie-Studien, in denen die Detektionsraten der Ärzte sanken, wenn sie sich auf KI stützten.
Speziell zum Datenschutz trifft die Forderung der Studie nach Audits auf individueller Ebene auf ein System, das auf aggregierte Berichte ausgelegt ist. FDA-Entscheidungszusammenfassungen lassen laut der IntuitionLabs-Übersicht oft entscheidende Angaben zu Wirksamkeit und Sicherheit weg, und die Einhaltung von Standards ist weltweit ungleich. Der EU AI Act, seit 2024 in Kraft, stuft viele KI-Systeme im Gesundheitswesen als hochriskant ein und bringt zusätzlichen Compliance-Aufwand zur Medical Device Regulation. Die WHO veröffentlichte 2023 Empfehlungen zu Transparenz, Datenqualität und Aufsicht über den gesamten Lebenszyklus.
MD+DI veröffentlichte ein Interview mit Suzanne Levy Friedman, Anwältin für Medizinprodukte bei der FDA. Sie sagte, ihre letzte Zählung habe bei über tausend KI-gestützten Geräten gelegen, die die FDA zugelassen habe. Keines davon habe ein kontinuierlich lernendes Modell eingebaut, sagte sie. Einige ihrer neueren Mandanten seien darüber schockiert. Sie nicht.
"Bei all der Aufregung über Innovation vergessen die Leute, dass die FDA zuallererst eine Behörde für öffentliche Gesundheit ist", sagte Friedman zu MD+DI. "Sie versuchen nicht, schwierig zu sein, sie versuchen sicherzustellen, dass Patienten keinen Schaden nehmen und Ärzte die richtigen Informationen haben und nicht versehentlich dazu verleitet werden, sich auf Dinge zu verlassen, die möglicherweise nicht validiert sind."
Friedman nannte zwei Lücken, die älter sind als die Datenschutzstudie. Software entwickelt sich schneller als der Rahmen, der für Hardware gedacht war, und die Leistung validierter Produkte kann im Alltag driften, sobald sich die Patientenmischung verschiebt, wie während COVID geschehen. Algorithmische Verzerrung kommt hinzu, und die FDA verlangt von Herstellern detaillierte Angaben zu ihren Algorithmen, was manche für überzogen halten.
Das Problem mit der klinischen Evidenz gleich daneben
Datenschutz ist nicht die einzige Schwachstelle der Evidenzbasis. The Register berichtete am 15. April über eine Studie in JAMA Network Open unter Leitung des Harvard-Medizinstudenten Arya Rao, die 21 handelsübliche KI-Modelle an 29 standardisierten klinischen Vignetten testete. Bei der endgültigen Diagnose lagen die Modelle in 91 Prozent der Fälle richtig, wenn sie ein vollständiges Informationsportfolio erhielten. Bei der frühen Differenzialdiagnose, der Phase, in der Ärzte unter Unsicherheit Erkrankungen in Betracht ziehen und ausschließen, lag die Fehlerquote über 80 Prozent.
"Jedes Modell, das wir getestet haben, versagte bei der überwiegenden Mehrheit der Fälle", sagte Rao zu The Register. "Das ist die Phase, in der Unsicherheit am wichtigsten ist, und dort sind diese Systeme am schwächsten."
Mitautor Marc Succi, Radiologe am Massachusetts General Hospital, warnte, Konfidenz ohne Begründung sei eine eigene Gefahr, besonders für ängstliche Patienten. Er argumentierte auch, starke Werte bei der endgültigen Diagnose könnten ein irreführendes Sicherheitsgefühl erzeugen, weil echtes klinisches Denken früher beginne, wenn die Mehrdeutigkeit am größten ist. Rao merkte an, die strengere Fehlerquote sei nicht die einzige Lesart der Daten: Die rohe Genauigkeit reichte von 63 bis 78 Prozent, die Modelle lagen also oft teilweise richtig.
Die beiden Studien weisen aus unterschiedlichen Richtungen in dieselbe Richtung. Die eine zeigt, dass sich die Trainingsdaten hinter einem Diagnosemodell abfragen lassen, um die Patienten darin zu identifizieren. Die andere zeigt, dass dieselben Modelle, wenn man von ihnen verlangt, wie Ärzte zu denken, genau dort scheitern, wo am meisten auf dem Spiel steht. Beide erschienen, während die Auditstandards, die solche Probleme aufdecken sollen, noch entworfen werden.
Knolles Einschränkung sollte man im Kopf behalten. Er sagte The Register, es gebe viele Situationen, in denen eine erfolgreiche MIA einen kleinen oder vernachlässigbaren Datenschutzverstoß darstelle, nämlich bei Modellen, die auf großen, allgemeinen Populationen trainiert seien, die gesunde und kranke Menschen umfassen. Das Risiko konzentriert sich dort, wo die Kohorten eng sind, und enge Kohorten braucht spezialisierte medizinische KI geradezu.
Quellen
4- 01Medical diagnosis AIs can be tricked into telling whose data trained themEN
- 02LLMs fail in 8 out of 10 early differential diagnosis casesEN
- 03AI Medical Devices: 2025 Status, Regulation & ChallengesEN
- 04How Is FDA Regulating AI Medical Devices in 2026?EN
Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.
Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.
Kommentare
0- Noch keine Kommentare — seien Sie der Erste.