Medizin-KI-Modelle verraten, welche Patienten sie trainiert haben, zeigt eine Nature-Studie
Forscher aus Deutschland haben gezeigt, dass sich KI-Modelle, die bei der Diagnose von Krankheiten helfen, so abfragen lassen, dass sie offenlegen, ob die Daten eines bestimmten Patienten Teil ihres Trainingssatzes waren. Auf der Ebene einzelner Personen gelingt das nach ihren Angaben nahezu perfekt.

Das Ergebnis steht in einem Nature-Aufsatz vom Mittwoch, 24. Juni, über den The Register am selben Tag berichtete. Es umfasst sieben medizinische KI-Datensätze aus Bildern, EKG-Aufzeichnungen und allgemeinen elektronischen Patientenakten. Das Team dahinter schreibt, aktuelle Datenschutzprüfungen übersähen das Risiko, weil sie den Angriffserfolg im Durchschnitt messen und nicht Patient für Patient.
Die Angriffsklasse ist nicht neu. Neu ist, wie gut sie bei medizinischen Modellen funktioniert.
Membership-Inference-Angriffe (MIA) fragen ein Modell ab, um herauszufinden, ob ein bestimmter Datenpunkt in seinem Trainingssatz lag. Diskriminative Modelle, also die Art, mit der Daten klassifiziert und Vorhersagen über neue Eingaben getroffen werden, lassen sich auf diesem Weg besonders leicht prüfen, so die Forscher. In ihrer Analyse ließen sich einzelne Patienten, auf die solche Angriffe zielten, mit dem identifizieren, was der Aufsatz nahezu perfekten Angriffserfolg nennt. Das wiegt schwer, denn eine bestätigte Zugehörigkeit zum Trainingssatz ist selbst eine Offenlegung. Wurde ein Modell auf einer Kohorte aus einer spezialisierten Klinik trainiert, kann der Nachweis, dass die Akte einer Person in dieser Kohorte liegt, eine Diagnose verraten, die sie nie mitteilen wollte.
Unterrepräsentierte Patienten lassen sich leichter herausfiltern
Der Aufsatz zeigt außerdem, dass sich Ausreißer in einem Trainingssatz leichter identifizieren lassen als andere Patienten. Hautfarbe, Versicherungsstatus, Geschlecht, das verwendete Bildgebungsprotokoll und bestimmte Krankheitszustände können laut den Forschern alle als Ausreißer wirken.
Moritz Knolle leitet den Lehrstuhl für KI in Gesundheitswesen und Medizin an der Technischen Universität München und ist Erstautor des Aufsatzes. In einem E-Mail-Austausch mit The Register brachte er den Zielkonflikt auf den Punkt. "Allgemein gesprochen werden Datenschutzrisiken durch MIAs schwerwiegender, je spezifischer die Trainingskohorte eines Modells wird", sagte er. Ein Beispiel: "Man kann sich Szenarien vorstellen, in denen die Zugehörigkeit zu einem Trainingsdatensatz verrät, dass jemand eine ruhende genetische Erkrankung wie Chorea Huntington hat, an Depressionen leidet oder eine bestimmte, spezialisierte Behandlungsklinik besucht hat."
Die Forscher berichten von einem weiteren Effekt, der in die falsche Richtung läuft. Größere Datensätze machen Akten leichter angreifbar, nicht schwerer, und laut dem Aufsatz war das Ausmaß dieser Verschiebung des Risikos auf Patientenebene für größere Modelle bisher nicht gemessen worden.
Was ein Angreifer tatsächlich braucht
Das heißt nicht, dass ein Fremder auf ein Modell zeigen und Namen herausziehen kann. Für eine MIA muss der Angreifer bereits einen Datenpunkt besitzen, den er testen will. Knolle bestätigte das und wies darauf hin, dass der Aufsatz eingrenzt, wie viele Daten dafür nötig sind.
"Für eine MIA braucht ein Angreifer Zugang zu einem Zieldatenpunkt", sagte er zu The Register. "In unserem Aufsatz zeigen wir, dass ein Angreifer mit teilweisem Zugang MIAs trotzdem erfolgreich durchführen kann."
Der Mechanismus ist die Konfidenz. Medizinische KI ist meist sicherer, wenn die Eingabe in ihrem Trainingssatz lag. Ein Angreifer speist also beschaffte Patientendaten ein, liest die Konfidenz ab und schließt daraus auf die Zugehörigkeit. Knolle sagte, der Angreifer müsse nicht wissen, wem die Daten gehören. Alle Datensätze der Studie seien anonymisiert gewesen, ergänzte er, was gegen diese Art der Inferenz nicht schütze. "Der Angreifer müsste einfach Zugang zu den Blutergebniswerten von jemandem haben, oder zu einem Teil dieser Ergebnisse", sagte Knolle, um auf die Zugehörigkeit zu schließen. Woher diese Daten kommen, führte er auf routinehafte Exposition zurück und nicht auf ausgefallene Einbrüche: "Da medizinische Daten nicht immer sicher gespeichert sind, ist es nicht undenkbar, dass ein Angreifer Zugang bekommt, etwa indem er sich unbefugten Zugriff auf die Datenbank des Hausarztes verschafft, nachdem dieser eine Routineblutuntersuchung durchgeführt hat."
Empfehlungen und ein Vorbehalt
Die Empfehlungen des Teams sind nicht ausgefallen. Sie wollen Frameworks für differenzielle Privatsphäre dort, wo das Risiko es rechtfertigt, Datenschutzprüfungsstandards, die auf Risiko auf individueller Ebene statt im Durchschnitt ausgelegt sind, und Trainingsdaten, die unterrepräsentierte Gruppen besser abbilden, statt sie als Ausreißer stehen zu lassen.
Knolle formulierte sein Ziel eng. "Ich hoffe, dass die medizinische KI-Community beginnt, Datenschutzrisiken ernst zu nehmen, und dass Techniken zur Risikominderung dort eingesetzt werden, wo sie nötig sind", sagte er. Er wehrte sich auch dagegen, jeden erfolgreichen Angriff als Skandal zu behandeln. "Es gibt viele Situationen, in denen eine erfolgreiche MIA einen kleinen oder vernachlässigbaren Datenschutzverstoß darstellt", merkte er an und beschrieb Modelle, die auf großen, allgemeinen Bevölkerungsgruppen trainiert wurden, in denen gesunde und kranke Menschen vorkommen.
Der regulatorische Rahmen, in den der Aufsatz fällt, ist dicht, aber arm an Details. Der Bericht von The Register merkt an, dass sich die Berichtsstandards für KI-Datenschutzprüfungen ändern müssen, was ebenso an Prüfer und Fachzeitschriften gerichtet ist wie an Anbieter. Der Aufsatz schlägt kein neues Zertifizierungsregime vor, und kein Regulator wird genannt, der seine Empfehlungen übernommen hätte.
Eine zweite, getrennte Arbeit weist aus einem anderen Blickwinkel in dieselbe Richtung: ob diese Systeme überhaupt Diagnosen stellen sollten. Eine Studie unter Leitung des Harvard-Medizinstudenten Arya Rao, veröffentlicht in JAMA Network Open und am 15. April von The Register aufgegriffen, testete 21 handelsübliche KI-Modelle an 29 standardisierten klinischen Vignetten. Die Modelle lagen in 91 Prozent der Fälle richtig, wenn sie ein vollständiges Informationsportfolio erhielten und eine endgültige Diagnose stellen sollten.
Die frühe Differenzialdiagnose, also die Phase, in der Kliniker Krankheiten ausschließen und zulassen und dabei Unsicherheit abwägen, scheiterte nach der strengen Definition des Aufsatzes in mehr als 8 von 10 Fällen. "Jedes Modell, das wir getestet haben, scheiterte in der überwiegenden Mehrheit der Fälle", sagte Rao zu The Register. "Das ist die Phase, in der Unsicherheit am meisten zählt, und dort sind diese Systeme am schwächsten."
Rao warnte auch davor, die Fehlerquote als völligen Zusammenbruch zu lesen. Gemessen als rohe Trefferquote pro Fall lagen die Modelle zwischen 63 und 78 Prozent, was laut ihr darauf hindeutet, dass sie oft teilweise richtig lagen. Mitautor Dr. Marc Succi, Radiologe am Massachusetts General Hospital, sagte, höhere Werte bei der endgültigen Diagnose sollten niemanden beruhigen. "Echtes klinisches Denken beginnt früher, wenn die Mehrdeutigkeit am größten ist, und genau dort bleiben sie am schwächsten", sagte er zu The Register.
Legt man beide Aufsätze nebeneinander, schärft sich die regulatorische Frage. Ein Modell, das verraten kann, wer es trainiert hat, und trotzdem die meisten frühen Differenzialdiagnosen verfehlt, wird für die Ersttriagierung angeboten, und die Prüfungen, mit denen es freigegeben wird, messen keines der beiden Risiken auf der Ebene, auf der es wirkt.
Quellen
2- 01Medical diagnosis AIs can be tricked into telling whose data trained themEN
- 02LLMs fail in 8 out of 10 early differential diagnosis casesEN
Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.
Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.
Kommentare
0- Noch keine Kommentare — seien Sie der Erste.