Zum Inhalt
WeltzeitEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal über KI und Technologieereignisse · analysen · interviews · technischer hintergrund

Suche
LIVE
›

Medizinische Diagnose-KIs verraten, mit wessen Daten sie trainiert wurden, und die Regeln greifen nicht

Medizinische KI-Modelle, die bei der Diagnose von Patienten helfen, erkennen mit „nahezu perfektem Angriffserfolg“, wessen Daten sie trainiert haben, berichten deutsche Forscher in einem am 24. Juni veröffentlichten Nature-Artikel. Die Standards für Datenschutzprüfungen messen dieses Risiko nach ihrer Aussage nicht auf der Ebene, auf der es wirkt.

GesundheitAnalyseHanna VogtVeröffentlicht: 27. September 20265 Min. LesezeitQuellen 2
Medizinische Diagnose-KIs verraten, mit wessen Daten sie trainiert wurden, und die Regeln greifen nicht

Das Ergebnis, über das The Register am 24. Juni berichtete, stammt von einem Team unter Leitung von Moritz Knolle, der an der Technischen Universität München den Lehrstuhl für KI in Gesundheitswesen und Medizin innehat. Die Arbeit testet Membership-Inference-Angriffe (MIA) gegen sieben medizinische KI-Datensätze aus Bildern, EKG-Aufzeichnungen und allgemeinen elektronischen Patientenakten. Die Modelle sind diskriminativ: Sie klassifizieren Eingaben und treffen Vorhersagen auf Grundlage dessen, womit sie trainiert wurden.

Ein MIA nutzt eine einfache Eigenheit. Ein Modell ist bei Eingaben, die es schon gesehen hat, in der Regel sicherer. Wer einen Datensatz einspeist und den Konfidenzwert abliest, kann daraus schließen, ob dieser Datensatz im Trainingsset lag. Laut Knolle „muss ein Angreifer, der eine MIA durchführt, nicht wissen, wem die Daten gehören, mit denen er den Angriff versucht“, und alle in der Studie verwendeten Datensätze waren anonymisiert.

Unterrepräsentierte Patienten lassen sich leichter identifizieren

Die Forscher fanden heraus, dass sich Patienten in einem Datensatz grundsätzlich leicht herausfiltern lassen, und dass jene, die im Trainingsmaterial unterrepräsentiert sind, noch leichter zu erkennen sind. Ethnie, Versicherungsstatus, Geschlecht, das verwendete Bildgebungsprotokoll und bestimmte Krankheitszustände können als Ausreißer wirken, die einen Einzelnen hervorheben.

Generell werden die Datenschutzrisiken von MIAs schwerwiegender, je spezifischer die Trainingskohorte eines Modells ist. Man kann sich Szenarien vorstellen, in denen die Zugehörigkeit zu einem Trainingsdatensatz verrät, dass jemand eine schlummernde genetische Erkrankung wie die Huntington-Krankheit hat, an Depressionen leidet oder eine bestimmte spezialisierte Behandlungsklinik besucht hat.

Das Zitat stammt von Knolle, der The Register per E-Mail antwortete. Die Tragweite ist nicht abstrakt: Wer weiß, dass die Daten einer Person in einer Fachkohorte stecken, kann daraus eine Diagnose ableiten, die diese Person nie offenlegen wollte, oder Diskriminierung bei Versicherungen, im Beruf oder anderswo befeuern.

Die Größenordnung verschärft das Problem, statt es zu mildern. Die Arbeit fand heraus, dass sich Datensätze umso leichter offenlegen lassen, je größer sie sind, und dass „das Ausmaß dieser Veränderung des Risikos auf Patientenebene zuvor unbekannt war“ bei größeren Modellen. Das widerspricht der verbreiteten Annahme, größere Trainingssets verwässerten die Exposition des Einzelnen.

Die Prüfzahlen verfehlen den Kern

Hier beginnt die regulatorische Debatte. Die Forscher schreiben, ein nahezu perfekter Erfolg gegen einzelne Patienten „wird vom standardisierten Bewertungsprotokoll nicht angemessen erfasst, das den Angriffserfolg über alle Datensätze hinweg aggregiert misst“. Ein Audit kann eine niedrige durchschnittliche Erfolgsquote melden, während einzelne Patienten weiterhin mühelos identifizierbar bleiben. Die Schlussfolgerung des Teams: Die Berichtsstandards für Datenschutzprüfungen von KI müssen sich ändern.

Knolles Empfehlungen betreffen zwei Bereiche. Der erste ist technisch: Frameworks für differenzielle Privatsphäre, die eine mathematische Garantie dafür liefern sollen, dass Trainingsdaten anonym bleiben. Der zweite ist verfahrensbezogen und verlagert Audits vom aggregierten Datenschutzrisiko auf das Risiko einzelner Personen. Er schlägt außerdem eine schlichtere Korrektur vor: medizinische KI-Trainingsdaten so zusammenzustellen, dass unterrepräsentierte Gruppen von vornherein besser vertreten sind. „Ich hoffe, dass die medizinische KI-Community Datenschutzrisiken endlich ernst nimmt und Risikominderungstechniken dort einsetzt, wo sie nötig sind“, sagte er The Register.

Für all das gibt es eine reale Voraussetzung. Um eine MIA durchzuführen, braucht ein Angreifer mindestens einige Daten des Ziels. Knolle sagte, die Arbeit zeige, dass eine vollständige Patientenakte nicht nötig ist, anders als bisher angenommen: „In unserer Arbeit zeigen wir, dass ein Angreifer mit Teilzugriff weiterhin erfolgreich MIAs durchführen kann.“ Er nannte das Beispiel von Bluttestergebnissen oder Teilen davon, die ausreichen, um die Zugehörigkeit abzuleiten, und verwies auf die routinemäßige Exposition von Gesundheitsdaten bei Datenschutzverletzungen. „Da medizinische Daten nicht immer sicher gespeichert sind, ist es nicht undenkbar, dass ein Angreifer Zugriff erlangt, etwa indem er sich unbefugten Zugang zur Datenbank des Hausarztes verschafft, nachdem dieser einen Routinebluttest durchgeführt hat“, sagte er.

Knolle vermied es, den Schaden in jedem Fall zu übertreiben. „Es gibt viele Situationen, in denen eine erfolgreiche MIA einen kleinen oder vernachlässigbaren Datenschutzverstoß darstellt“, merkte er an und verwies auf Modelle, die auf großen allgemeinen Populationen trainiert wurden, in denen gesunde und kranke Menschen in ausreichender Zahl vertreten sind. Das Risiko konzentriert sich dort, wo die Kohorten eng sind.

Auch die Diagnosemodelle selbst sind schwach

Datenschutz ist nur eines von zwei Problemen in derselben Ecke der medizinischen KI. Eine im April in JAMA Network Open veröffentlichte Studie, über die The Register am 15. April berichtete, testete 21 handelsübliche KI-Modelle an 29 standardisierten klinischen Vignetten. Bei vollständiger Informationslage lagen die Modelle in 91 Prozent der Fälle mit der endgültigen Diagnose richtig. Bei der frühen Differenzialdiagnose, also in der Phase, in der Kliniker Erkrankungen noch ausschließen und bestätigen, versagten sie in mehr als 8 von 10 Fällen.

Geleitet wurde die Studie von dem Harvard-Medizinstudenten Arya Rao. „Jedes Modell, das wir getestet haben, versagte in der überwiegenden Mehrheit der Fälle“, sagte Rao The Register. „Das ist die Phase, in der Unsicherheit am meisten zählt, und dort sind diese Systeme am schwächsten.“ Der Mitautor Dr. Marc Succi, Radiologe am Massachusetts General Hospital, sagte, die Modelle „können Sicherheit ausstrahlen, ohne starke Begründungen zu liefern, besonders bei der Differenzialdiagnose“, und warnte, diese Sicherheit könne Ängste bei Patienten schüren, die sich ohnehin um ihre Gesundheit sorgen. Rao merkte außerdem an, dass die strenge Fehlermetrik hart ist: Gemessen als reine Genauigkeit erreichten die Modelle Werte zwischen 63 und 78 Prozent und lagen damit oft teilweise richtig statt völlig falsch.

Legt man beide Arbeiten nebeneinander, wird die Regelungslücke größer. Die Datenschutzarbeit sagt, Audits messen das Falsche auf der falschen Ebene, und Anbieter bräuchten einen Anreiz, Trainingsdaten abzusichern. Die Diagnosearbeit sagt, die Vermarktung dieser Systeme als Frontlinien-Agenten „riskierte, falsches Vertrauen gerade dort zu fördern, wo sie am wenigsten verlässlich sind“, und dass „LLMs in der Entscheidungsfindung an vorderster Front noch nicht vertraut werden kann“. In beiden Fällen ist es ein Versagen, das aggregierte Benchmarks und Produktversprechen verbergen können.

Was die Forscher verlangen, ist enger gefasst als ein Verbot. Datenschutzprüfungen sollen Risiken so ausweisen, dass einzelne Patienten zählen. Differenzielle Privatsphäre soll dort greifen, wo Kohorten sensibel sind. Trainingsdaten sollen so ausbalanciert sein, dass Ausreißer keine Ausreißer mehr sind. Und die Modelle sollen als Werkzeuge gelten, die menschliche Prüfung brauchen, nicht als Torwächter. Nichts davon verlangt neue Wissenschaft. Es verlangt Bewertungsregime, die das messen, was einem Patienten tatsächlich schaden kann.

Kommentare 0

Quellen

2
  1. 01Medical diagnosis AIs can be tricked into telling whose data trained themEN
  2. 02LLMs fail in 8 out of 10 early differential diagnosis casesEN

Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.

Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.

Hanna Vogt

Hanna Vogt

Wissenschaft und Gesundheit

Hanna Vogt schreibt für FLASH24 über Wissenschaft und Gesundheit und stützt sich dabei auf Primärstudien, Behördenberichte und Rohdaten statt auf Pressemitteilungen. Bei Zahlen prüft sie Stichprobengrößen, Konfidenzintervalle und ob die zitierte Quelle die Aussage tatsächlich deckt. Für ihre Texte spricht sie mit Studienautorinnen, wartet auf Peer-Review-Fassungen und vergleicht Vorabdrucke mit der finalen Publikation. Dass sie privat Materialphysik verfolgt und mit eigenem Teleskop den Himmel beobachtet, erklärt, warum sie bei Messmethoden und Instrumenten genau nachfragt. Sie publiziert keine Ergebnisse, deren Datengrundlage sie nicht selbst eingesehen hat.

Redaktion →

Kommentare

0
  1. Noch keine Kommentare — seien Sie der Erste.

Kommentar schreiben

Kommentare sind öffentlich sichtbar. Wir veröffentlichen keine Beleidigungen, Werbung oder Spam.