Zum Inhalt
WeltzeitEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal über KI und Technologieereignisse · analysen · interviews · technischer hintergrund

Suche
LIVE
›

KI-Diagnose unter der Lupe: Patienten verraten Trainingsdaten, Sprachmodelle scheitern in 80 Prozent der Fälle

Zwei 2026 veröffentlichte Studien zeigen: Medizinische Diagnose-KIs lassen sich dazu bringen, preiszugeben, wessen Daten sie trainiert haben. Führende Sprachmodelle scheitern zudem bei der frühen Differenzialdiagnose in mehr als 8 von 10 Fällen.

GesundheitErklärtHanna VogtVeröffentlicht: 28. September 20265 Min. LesezeitQuellen 4
KI-Diagnose unter der Lupe: Patienten verraten Trainingsdaten, Sprachmodelle scheitern in 80 Prozent der Fälle

Zwei Forschungsarbeiten aus dem Jahr 2026 zeichnen ein beunruhigendes Bild der medizinischen KI-Diagnose. Die eine zeigt, dass Diagnosemodelle die Identität von Patienten preisgeben, deren Akten sie trainiert haben. Die andere zeigt, dass große Sprachmodelle in der frühen Phase klinischen Denkens in mehr als 80 Prozent der Fälle scheitern. Es geht um dieselben Werkzeuge, die Menschen zu ihren Symptomen befragen. The Register berichtete über beide Arbeiten, als sie erschienen.

Das Datenschutzproblem stammt aus einer Arbeit in Nature, die laut The Register am Mittwoch, dem 24. Juni 2026, erschien. Deutsche Forschende prüften sieben medizinische KI-Datensätze mit Bildern, EKG-Aufzeichnungen und allgemeinen elektronischen Gesundheitsakten. Sie fanden heraus, dass diskriminative Modelle besonders anfällig für Membership-Inference-Angriffe (MIA) sind. Diese Modelle klassifizieren Daten und treffen Vorhersagen. Die Angriffe fragen ein Modell ab, um festzustellen, ob ein bestimmter Datenpunkt zu seinem Trainingssatz gehörte. Das Team berichtet, dass sich einzelne Patienten mit "nahezu perfektem Angriffserfolg" identifizieren lassen. Die üblichen Bewertungsprotokolle erfassen diese Erfolgsquote nicht, argumentieren die Forschenden. Sie messen den Angriffserfolg über alle Akten hinweg im Durchschnitt. Die Forschenden kamen zu dem Schluss, dass sich die Berichtsstandards für KI-Datenschutzaudits ändern müssen.

Unterrepräsentierte Patienten lassen sich leichter identifizieren

Patienten, die in medizinischen KI-Trainingsdaten unterrepräsentiert sind, lassen sich noch leichter identifizieren, heißt es in derselben Arbeit. Leichter als Patienten, deren Daten nicht auffallen. The Register nannte Hautfarbe, Versicherungsstatus, Geschlecht, Bildgebungsprotokoll und bestimmte Krankheitsstatus als Kategorien, die als Ausreißer wirken können. Sie machen Einzelpersonen leichter erkennbar.

Moritz Knolle ist Inhaber des Lehrstuhls für KI in Gesundheit und Medizin an der Technischen Universität München und Erstautor der Arbeit. "Allgemein gesprochen werden die Datenschutzrisiken durch MIA schwerwiegender, je spezifischer die Trainingskohorte eines Modells ist", sagte er The Register in einer E-Mail-Korrespondenz. Er beschrieb Szenarien, in denen die Zugehörigkeit zu einem Trainingsdatensatz verraten könnte, dass jemand eine ruhende genetische Erkrankung wie Chorea Huntington hat, an Depressionen leidet oder eine bestimmte spezialisierte Behandlungsklinik besucht hat.

Der Angriff selbst nutzt eine einfache Eigenschaft von Machine-Learning-Modellen. Sie sind tendenziell sicherer, wenn die Eingabedaten zu ihrem Trainingssatz gehörten. Wer über Teilinformationen zu einem Patienten verfügt, kann sie dem Modell geben und die Konfidenz prüfen. Das verrät, ob der Patient enthalten war. Knolle sagte, die Arbeit zeige, dass ein Angreifer keinen vollständigen Zugriff auf einen Patientendatensatz braucht. Das widerspricht dem, was bisher angenommen wurde. "In unserer Arbeit zeigen wir, dass ein Angreifer mit Teilzugriff noch erfolgreich MIA durchführen kann", sagte er The Register.

"Ich hoffe, dass die medizinische KI-Community beginnt, Datenschutzrisiken ernst zu nehmen, und dass Techniken zur Risikominderung dort eingesetzt werden, wo sie nötig sind." Moritz Knolle, Technische Universität München

Die Forschenden empfehlen Frameworks für differenzielle Privatsphäre. Diese sollen mathematisch garantieren, dass Trainingsdaten anonym bleiben. Sie wollen außerdem, dass Datenschutzaudit-Standards das Risiko für Einzelpersonen berücksichtigen und nicht nur Durchschnittszahlen. Eine weitere Möglichkeit, so Knolle, sei es, Trainingsdaten so zusammenzustellen, dass unterrepräsentierte Gruppen besser vertreten sind. "Es gibt viele Situationen, in denen ein erfolgreicher MIA einen kleinen oder vernachlässigbaren Datenschutzverstoß darstellt", merkte er an. Er bezog sich auf Modelle, die auf großen Allgemeinbevölkerungen trainiert wurden, die gesunde und kranke Menschen umfassen.

Sprachmodelle scheitern früh und wirken dabei sicher

Unabhängig davon ergab eine im April 2026 in JAMA Network Open veröffentlichte Untersuchung, dass 21 führende Standard-KI-Modelle bei der frühen Differenzialdiagnose in mehr als 8 von 10 Fällen scheiterten. The Register berichtete am 15. April 2026 über die Studie. Getestet wurden die Modelle an 29 standardisierten klinischen Vignetten. Gut abschnitten sie, wenn sie ein vollständiges Paket medizinischer Informationen erhielten und nach einer endgültigen Diagnose gefragt wurden. Führende Modelle lagen in 91 Prozent der Fälle richtig. Doch die frühe Differenzialdiagnose ist die Phase, in der Kliniker Erkrankungen ausschließen und Möglichkeiten abwägen. Dort lag die Fehlerquote über 80 Prozent.

Arya Rao ist Medizinstudent in Harvard und leitete die Untersuchung. "Jedes Modell, das wir getestet haben, scheiterte in der überwiegenden Mehrheit der Fälle", sagte er The Register per E-Mail. "Das ist die Phase, in der Unsicherheit am wichtigsten ist, und dort sind diese Systeme am schwächsten."

Rao merkte an, dass ein Scheitern nicht immer eine völlig falsche Antwort bedeutete. Gemessen an der reinen Trefferquote, also dem Anteil richtiger Antworten, lagen die Modelle zwischen 63 und 78 Prozent. Das Team argumentiert jedoch, dass die strengere Fehlermetrik weiterhin zählt. KI-Werkzeuge werden als Instrumente der ersten Linie vermarktet, die Diagnosen eingrenzen sollen. "Sprachmodelle als diagnostische Akteure zu vermarkten, riskiert falsches Vertrauen genau dort, wo sie am unzuverlässigsten sind", schrieben die Forschenden.

Dr. Marc Succi ist Radiologe am Massachusetts General Hospital und Mitautor der Arbeit. Er sagte The Register, höhere Erfolgsquoten bei der endgültigen Diagnose sollten nicht beruhigen. "Echtes klinisches Denken beginnt früher, wenn die Unklarheit am größten ist, und genau dort bleiben sie am schwächsten", sagte er. Er warnte, eine falsche Differenzialdiagnose könne zu Verzögerungen bei der Behandlung, unnötigen Eingriffen, hohen Kosten und mehr führen.

Beide Arbeiten fallen in ein regulatorisches Umfeld, das noch aufholt. Bis Mitte 2024 hatte die US-amerikanische Food and Drug Administration rund 950 KI-gestützte Medizinprodukte zugelassen, heißt es in einer von IntuitionLabs veröffentlichten Branchenanalyse. Dieselbe Analyse merkte an, dass nur ein winziger Bruchteil der zugelassenen KI-Produkte durch randomisierte Studien oder Daten zu Patientenergebnissen gestützt ist. Sie merkte auch an, dass die FDA im Dezember 2024 ihre Leitlinie zu Predetermined Change Control Plans herausgab.

MD+DI veröffentlichte ein Interview mit der FDA-Anwältin für Medizinprodukte Suzanne Levy Friedman. Darin heißt es, dass trotz mehr als tausend von der FDA zugelassenen KI-gestützten Produkten keines ein kontinuierlich lernendes Modell eingebaut hat. Friedman sagte, die Behörde arbeite an einem Weg dorthin. Ihre Hauptaufgabe als Gesundheitsbehörde zwinge sie jedoch, Innovation gegen Risiko abzuwägen. Dieses Risiko besteht darin, dass Kliniker sich auf Werkzeuge verlassen, die möglicherweise nicht validiert sind.

Die beiden Forschungsarbeiten legen nahe, dass Validierung nicht nur bedeutet, ob ein Modell die endgültige Antwort richtig trifft. Es geht auch darum, ob es die Identität eines Patienten geheim hält. Und darum, ob es mit Unsicherheit umgehen kann, bevor eine Diagnose klar ist.

Kommentare 0

Quellen

4
  1. 01Medical diagnosis AIs can be tricked into telling whose data trained themEN
  2. 02LLMs fail in 8 out of 10 early differential diagnosis casesEN
  3. 03AI Medical Devices: 2025 Status, Regulation & ChallengesEN
  4. 04How Is FDA Regulating AI Medical Devices in 2026?EN

Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.

Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.

Hanna Vogt

Hanna Vogt

Wissenschaft und Gesundheit

Hanna Vogt schreibt für FLASH24 über Wissenschaft und Gesundheit und stützt sich dabei auf Primärstudien, Behördenberichte und Rohdaten statt auf Pressemitteilungen. Bei Zahlen prüft sie Stichprobengrößen, Konfidenzintervalle und ob die zitierte Quelle die Aussage tatsächlich deckt. Für ihre Texte spricht sie mit Studienautorinnen, wartet auf Peer-Review-Fassungen und vergleicht Vorabdrucke mit der finalen Publikation. Dass sie privat Materialphysik verfolgt und mit eigenem Teleskop den Himmel beobachtet, erklärt, warum sie bei Messmethoden und Instrumenten genau nachfragt. Sie publiziert keine Ergebnisse, deren Datengrundlage sie nicht selbst eingesehen hat.

Redaktion →

Kommentare

0
  1. Noch keine Kommentare — seien Sie der Erste.

Kommentar schreiben

Kommentare sind öffentlich sichtbar. Wir veröffentlichen keine Beleidigungen, Werbung oder Spam.