Regulierung medizinischer KI: was die Forschung über Diagnosewerkzeuge wirklich zeigt
Medizinische KI-Modelle, die für Diagnosen eingesetzt werden, lassen sich dazu bringen, preiszugeben, ob die Daten eines bestimmten Patienten zu ihrem Training gehörten, berichteten deutsche Forscher am 24. Juni 2026 in Nature. Ein separates Microsoft-System wiederum beanspruchte 85,5 Prozent Diagnosegenauigkeit gegenüber Ärzten. Die Regulierung hinkt hinterher.

Zwei Forschungsergebnisse, etwa ein Jahr auseinander veröffentlicht, stehen unangenehm nebeneinander. Das eine besagt, medizinische KI könne Ärzte bei schwierigen Diagnosen schlagen. Das andere besagt, dieselbe Klasse von Modellen verrate Informationen über die Patienten, von denen sie gelernt hat. Beide münden in dieselbe offene Frage: Was sollte die Regulierung medizinischer KI eigentlich verlangen?
Das erste Ergebnis kam von Microsoft. Laut GeekWire stellte das Unternehmen am 30. Juni 2025 den MAI Diagnostic Orchestrator vor, kurz MAI-DxO. Das Werkzeug wurde an komplexen Fällen aus dem New England Journal of Medicine gegen 21 erfahrene Ärztinnen und Ärzte aus den USA und Großbritannien getestet. Es lieferte in 85,5 Prozent der Fälle die richtige Diagnose. Die Ärzte kamen auf 20 Prozent.
Was der Microsoft-Benchmark maß und was nicht
Der Testsatz bestand aus 304 aktuellen Fallstudien des NEJM. Microsoft machte daraus etwas, das das Unternehmen Sequential Diagnosis Benchmark nannte. WIRED berichtete, ein Sprachmodell habe jeden Fall in die schrittweise Abfolge zerlegt, die ein Arzt durchlaufen würde. MAI-DxO fragte dann mehrere Frontier-Modelle ab, darunter GPT von OpenAI, Gemini von Google, Claude von Anthropic, Llama von Meta und Grok von xAI. Der Aufbau sollte mehrere Experten nachahmen, die miteinander diskutieren. MAI-DxO in Kombination mit o3 von OpenAI schnitt am besten ab, schrieb GeekWire.
WIRED nannte 80 Prozent Genauigkeit statt 85,5 Prozent und schrieb, das System habe die Kosten um 20 Prozent gesenkt, indem es günstigere Tests anordnete. Die beiden Zahlen stammen aus demselben Projekt, aber aus unterschiedlichen Berichten. GeekWire nennt 85,5 Prozent und 20 Prozent für die Ärzte, WIRED nennt 80 Prozent und 20 Prozent. Wer diesen Benchmark zitiert, sollte prüfen, welche Zahl er verwendet.
„Wir machen einen großen Schritt in Richtung medizinische Superintelligenz", sagte Mustafa Suleyman, CEO von Microsoft AI, laut GeekWire in einem LinkedIn-Beitrag.
Forscher von außerhalb urteilten zurückhaltender. David Sontag vom MIT sagte WIRED, die Arbeit sei methodisch stark. Er warnte aber, den Ärzten der Studie sei untersagt gewesen, zusätzliche Hilfsmittel zu nutzen, was die reale Praxis nicht abbilde. Eric Topol vom Scripps Research Institute sprach von einem beeindruckenden Bericht über komplexe Fälle. Beide sagten, der nächste Validierungsschritt sei eine klinische Studie, die das System mit echten Ärzten vergleicht, die echte Patienten behandeln. Ob Microsoft das Werkzeug kommerzialisieren will, ist laut WIRED noch nicht entschieden. Ein klinischer Einsatz würde Sicherheitstests und eine behördliche Zulassung erfordern.
Der Datenschutzfund, der alles verkompliziert
Am 24. Juni 2026 berichtete The Register über eine Nature-Arbeit deutscher Forscher. Das Team testete Membership-Inference-Angriffe, kurz MIAs, gegen sieben medizinische KI-Datensätze mit Bildern, EKG-Aufzeichnungen und allgemeinen elektronischen Gesundheitsakten. Solche Angriffe fragen ein Modell ab, um herauszufinden, ob ein bestimmter Datenpunkt in seinem Trainingssatz war.
Das Ergebnis: Bei einzelnen Patienten gelangen die Angriffe mit dem, was die Forscher nahezu perfekten Erfolg nannten. Die Arbeit argumentiert, gängige Bewertungsprotokolle übersähen das, weil sie den Angriffserfolg über alle Datensätze hinweg im Durchschnitt messen. Unterrepräsentierte Gruppen ließen sich leichter identifizieren. Herkunft, Versicherungsstatus, Geschlecht, Bildgebungsprotokoll und bestimmte Krankheitsstatus wirken als Ausreißer, die Einzelne hervorstechen lassen.
Moritz Knolle leitet den Lehrstuhl für KI in Gesundheit und Medizin an der Technischen Universität München und ist Erstautor der Arbeit. Er sagte dem Register, die Datenschutzrisiken wüchsen, je spezifischer eine Trainingskohorte werde. Er nannte das Beispiel, dass die Zugehörigkeit zu einem Datensatz eine schlummernde genetische Erkrankung wie Chorea Huntington, eine Depression oder den Besuch einer spezialisierten Behandlungsstelle verraten könne.
Es gibt eine praktische Grenze. Für den Angriff braucht ein Angreifer mindestens teilweise Daten der Person, die er identifizieren will. Knolle sagte dem Register, die Arbeit zeige, dass teilweiser Zugang ausreiche, anders als früher angenommen. Er skizzierte ein Szenario, in dem ein Angreifer nach einer Routine-Blutuntersuchung unbefugten Zugang zur Datenbank eines Hausarztes erlangt.
„Ich hoffe, dass die medizinische KI-Community Datenschutzrisiken endlich ernst nimmt und dass Techniken zur Risikominderung dort eingesetzt werden, wo sie nötig sind", sagte Knolle.
Die Forscher empfehlen Frameworks für differenzielle Privatsphäre. Diese sollen mathematische Garantien dafür geben, dass Trainingsdaten anonym bleiben. Außerdem raten sie zu Änderungen an den Standards für Datenschutzprüfungen, damit sie Risiken für Einzelpersonen statt Durchschnittsrisiken bewerten. Sie empfehlen zudem, Trainingsdaten so zusammenzustellen, dass unterrepräsentierte Gruppen besser vertreten sind. Knolle merkte an, viele erfolgreiche Angriffe stellten einen kleinen oder vernachlässigbaren Datenschutzverstoß dar, etwa wenn Modelle auf großen allgemeinen Populationen trainiert würden, die Gesunde und Kranke enthalten.
Die Belege dafür, dass Modelle früh scheitern, wo es zählt
Eine dritte Studie dämpft die Begeisterung. Im April 2026 berichtete The Register über eine Untersuchung in JAMA Network Open unter Leitung des Harvard-Medizinstudenten Arya Rao. Das Team testete 21 handelsübliche KI-Modelle an 29 standardisierten klinischen Vignetten. Bekamen die Modelle ein vollständiges Portfolio medizinischer Informationen und sollten eine endgültige Diagnose stellen, lagen die führenden Modelle in 91 Prozent der Fälle richtig. Bei der frühen Differenzialdiagnose scheiterten sie in mehr als 8 von 10 Fällen. In dieser Phase schließen Kliniker Erkrankungen ein und aus, während die Unsicherheit am größten ist.
Rao sagte dem Register, jedes getestete Modell sei in der überwiegenden Mehrheit der Fälle gescheitert. Die frühe Differenzialdiagnose sei die Stelle, an der die Systeme am schwächsten sind. Mitautor Dr. Marc Succi, Radiologe am Massachusetts General Hospital, sagte, die Ergebnisse legten nahe, handelsüblichen LLMs die patientennahe diagnostische Schlussfolgerung nicht ohne strukturierte, umfassende menschliche Prüfung zu überlassen. Er ergänzte, die Modelle könnten Sicherheit ausstrahlen, ohne verlässliche Begründungen zu liefern, was bei Patienten Ängste verstärken könne.
Rao nannte auch eine Einschränkung: Ein Scheitern nach der strengen Definition der Arbeit bedeute nicht immer, dass das Modell falsch lag. Gemessen als rohe Trefferquote, also dem Anteil richtiger Antworten pro Fall, lagen die Werte zwischen 63 Prozent und 78 Prozent. Die Modelle waren also oft teilweise richtig. Das Team hält dennoch an der strengeren Kennzahl fest, weil LLMs als Werkzeuge der ersten Reihe vermarktet werden, die Diagnosen eingrenzen, bevor ein Mensch übernimmt.
Wo die Regulierung steht
Keine dieser drei Arbeiten ist ein Regulierungsdokument, und die Akte hinter diesem Artikel enthält keinen Text einer Regel zu KI in der Medizin. Sie zeigt aber die Form des Problems, vor dem Regulierer stehen. Diagnosegenauigkeit an kuratierten Fällen kann stark aussehen, während die Begründung in frühen Phasen scheitert. Datenschutzprüfungen können bestehen, während einzelne Patienten identifizierbar bleiben.
Die Microsoft-Arbeit weist in eine Richtung: das System in einer klinischen Studie belegen, dann eine Zulassung beantragen. Die Nature-Arbeit weist in eine andere: die Datenschutzprüfungen anders schreiben und Techniken wie differenzielle Privatsphäre vor dem Einsatz einführen. Die JAMA-Studie zielt auf Kennzeichnung und Vermarktung. Sie argumentiert, LLMs als diagnostische Akteure zu beschreiben erzeuge falsche Sicherheit genau dort, wo sie am wenigsten verlässlich sind.
Wer über ein medizinisches KI-Produkt liest, kann aus den Belegen oben drei Fragen ableiten. Wurde es an echten Patienten in einer klinischen Umgebung getestet oder an veröffentlichten Fallstudien? Betrachtet seine Datenschutzbewertung einzelne Patienten oder nur Durchschnittsrisiken? Und beansprucht es zu diagnostizieren oder einen Kliniker zu unterstützen, der verantwortlich bleibt? Die Antworten stehen meist in der Arbeit, nicht in der Pressemitteilung.
Quellen
4- 01Medical diagnosis AIs can be tricked into telling whose data trained themEN
- 02Microsoft AI tool outperforms doctors in diagnosing complex medical casesEN
- 03Microsoft Says Its New AI System Diagnosed Patients 4 Times More Accurately Than Human DoctorsEN
- 04LLMs fail in 8 out of 10 early differential diagnosis casesEN
Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.
Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.
Kommentare
0- Noch keine Kommentare — seien Sie der Erste.