KI in der medizinischen Diagnose: Regulierer jagen einem Evidenznachweis hinterher, der sich ständig verschiebt
Zwei der meistzitierten Ergebnisse medizinischer KI aus dem vergangenen Jahr weisen in entgegengesetzte Richtungen. Microsofts MAI-DxO erreichte 85,5 Prozent Trefferquote bei 304 komplexen Fällen aus dem NEJM, 21 Ärzte kamen auf 20 Prozent. Eine Studie in JAMA Network Open fand, dass führende Modelle in mehr als 8 von 10 Fällen bei der frühen Differenzialdiagnose scheitern. Regulierer müssen jetzt Regeln für beide Zahlen gleichzeitig schreiben.

Die Regulierung medizinischer KI wird gegen ein bewegliches Ziel entworfen. Dieselbe Modellklasse wird als Diagnoseassistent verkauft, als Benchmark-Sieger getestet und als Datenschutzrisiko geprüft, oft nur wenige Monate auseinander.
Welche Evidenz müssten Regulierer abwägen? Microsoft stellte seinen AI Diagnostic Orchestrator (MAI-DxO) am 30. Juni 2025 vor, berichtet GeekWire. Das Unternehmen meldete 85,5 Prozent korrekte Diagnosen bei Fällen aus dem New England Journal of Medicine. Zum Vergleich: 21 erfahrene Ärzte aus den USA und Großbritannien kamen auf 20 Prozent. WIRED beschrieb in einem Bericht über dasselbe Experiment am 1. Juli 2025 eine Trefferquote von 80 Prozent für das Werkzeug gegenüber 20 Prozent bei den Ärzten. Der Bericht nannte außerdem eine Kostensenkung um 20 Prozent durch die Wahl günstigerer Tests. Beide Zahlen stützen sich auf 304 aktuelle NEJM-Fälle, die Microsoft zum Sequential Diagnosis Benchmark zusammengestellt hat.
Der Unterschied zwischen 85,5 und 80 Prozent ist keine Rundungsfrage. Ein Regulierer muss solche Abweichungen auflösen, bevor er einen Schwellenwert ins Gesetz schreibt.
Microsoft formulierte selbst vorsichtig. GeekWire merkte an, dass das Forschungspapier hinter dem Werkzeug noch nicht von einer Fachzeitschrift angenommen worden war. Das Unternehmen erklärte, das Werkzeug müsse an häufigeren Krankheitsbildern getestet werden. Außerdem brauche es eine klinische Validierung von Sicherheit und Leistung sowie eine behördliche Zulassung vor dem Einsatz. Bay Gross, Vice President of Health bei Microsoft AI, nannte es in einem LinkedIn-Beitrag „einen Proof of Concept“. Mustafa Suleyman, CEO von Microsoft AI, war weniger zurückhaltend: „Wir machen einen großen Schritt in Richtung medizinische Superintelligenz“, schrieb er auf LinkedIn.
Die Ärzte durften keine Hilfsmittel benutzen
Unabhängige Forscher, die WIRED zitierte, warfen ein methodisches Problem auf, auf das jeder Regulierer sofort stoßen würde. David Sontag, Wissenschaftler am MIT und Mitgründer von Layer Health, sagte, die Ergebnisse seien mit Vorsicht zu behandeln. Die Ärzte in der Studie durften keine zusätzlichen Hilfsmittel verwenden. Das entspricht womöglich nicht der realen Praxis. Eric Topol vom Scripps Research Institute nannte den Bericht beeindruckend, weil er komplexe Fälle angehe. Dass KI theoretisch Kosten senken könne, sei neu. Beide waren sich einig, dass der nächste Validierungsschritt eine klinische Studie sein müsse. Sie würde das System mit echten Ärzten vergleichen, die echte Patienten behandeln.
Diese Studie hat es nicht gegeben. Ob Microsoft die Technologie kommerzialisieren will, ist nicht entschieden, berichtete WIRED. Ein Manager sagte jedoch, das Unternehmen könne sie in Bing integrieren, damit Nutzer Krankheiten selbst einordnen können.
Die andere Hälfte des Bildes zählt für jeden mehr, der Regeln für Patientinnen und Patienten schreibt. Eine im April 2026 in JAMA Network Open veröffentlichte Untersuchung prüfte 21 führende KI-Modelle von der Stange an 29 standardisierten klinischen Vignetten. Der Harvard-Medizinstudent Arya Rao leitete die Arbeit. Bei der endgültigen Diagnose schnitten die Modelle gut ab, mit 91 Prozent korrekt, wenn ihnen ein vollständiges Paket medizinischer Informationen vorlag. Die frühe Differenzialdiagnose scheiterte in mehr als 8 von 10 Fällen. Das ist die Phase, in der Kliniker unter Unsicherheit Erkrankungen in Betracht ziehen und ausschließen.
„Jedes Modell, das wir getestet haben, scheiterte in der überwiegenden Mehrheit der Fälle“, sagte Rao gegenüber The Register. „Das ist die Phase, in der Unsicherheit am meisten zählt, und dort sind diese Systeme am schwächsten.“
Rao sagte The Register außerdem, ein Scheitern in dem Papier bedeute nicht, dass die KI völlig danebenlag. Es bedeute nur, dass das System keine vollständig richtige Antwort lieferte. Gemessen als schlichter Anteil korrekter Antworten erreichten die Modelle zwischen 63 und 78 Prozent. Das ist eine deutlich bessere Zahl als die Schlagzeile zur Fehlerquote. Diese Feinheit verschwindet meist, bevor eine Statistik eine Anhörung zur Regulierung erreicht.
Dr. Marc Succi, Radiologe am Massachusetts General Hospital und Mitautor, sagte The Register, höhere Erfolgsquoten bei der endgültigen Diagnose sollten nicht beruhigen. „Klinisches Denken beginnt früher, wenn die Mehrdeutigkeit am größten ist, und genau dort bleiben sie am schwächsten“, sagte er. „Selbst wenn man irgendwann zur richtigen Antwort kommt, kann eine falsche Differenzialdiagnose zu Verzögerungen bei der Behandlung führen, zu unnötigen Eingriffen mit Komplikationen, zu hohen Kosten und vielem mehr.“
Datenschutzprüfungen messen das Falsche
Ein dritter Strang, den Regulierer langsamer einbeziehen, ist das, was die Trainingsdaten selbst verraten. Deutsche Forscher berichteten in einem am Mittwoch, 24. Juni 2026, veröffentlichten Nature-Papier, dass diskriminative medizinische KI-Modelle für Membership-Inference-Angriffe anfällig sind. Dabei handelt es sich um Abfragen, mit denen sich feststellen lässt, ob die Akte eines bestimmten Patienten im Trainingssatz war. The Register berichtete, das Team habe sieben medizinische KI-Datensätze mit Bildern, EKG-Aufzeichnungen und allgemeinen elektronischen Gesundheitsakten untersucht. Einzelne Patienten ließen sich mit dem, was die Forscher „nahezu perfekten Angriffserfolg“ nennen, identifizieren.
Der Befund widerspricht der gängigen Prüfpraxis. „Dass MIAs bei einzelnen Patienten nahezu perfekte Erfolgsquoten erreichen, wird durch das Standardbewertungsprotokoll nicht angemessen erfasst, weil es den Angriffserfolg über alle Datensätze hinweg aggregiert“, schrieben die Forscher. Ihr Schluss: Die Berichtsstandards für Datenschutzprüfungen von KI müssen sich ändern. Wo nötig, sollten Frameworks für differenzielle Privatsphäre zum Einsatz kommen. Diese Frameworks sollen mathematisch garantieren, dass Trainingsdaten anonym bleiben.
Unterrepräsentierte Patienten lassen sich leichter aufdecken als andere. Hautfarbe, Versicherungsstatus, Geschlecht, das verwendete Bildgebungsprotokoll und bestimmte Krankheitszustände können laut dem Papier alle als Ausreißer wirken, die eine Person identifizierbar machen. „Im Allgemeinen werden die Datenschutzrisiken durch MIAs schwerwiegender, je spezifischer die Trainingskohorte eines Modells ist“, sagte Moritz Knolle gegenüber The Register. Er leitet den Lehrstuhl AI in Healthcare and Medicine an der Technischen Universität München und ist Erstautor. Er brachte den Fall ins Spiel, dass die Mitgliedschaft in einem Trainingsdatensatz verrät, dass jemand eine schlummernde genetische Erkrankung wie Chorea Huntington hat. Sie könnte auch verraten, dass jemand eine spezialisierte Behandlungsklinik besucht hat.
Knolle war klar über die Grenzen des Angriffs. Ein Angreifer braucht Zugang zu einem Zieldatenpunkt, wobei das Papier zeigt, dass teilweiser Zugang genügt. Das widerspricht dem, was bisher angenommen wurde. Die in der Studie verwendeten Datensätze waren anonymisiert. „Der Angreifer müsste einfach Zugang zu den Bluttestergebnissen einer Person haben, oder zu einem Teil davon“, sagte er, um auf die Zugehörigkeit zu schließen.
Was das für die Regeln bedeutet
Drei praktische Probleme ergeben sich daraus für jeden, der medizinische KI-Regulierung entwirft.
- Benchmarks sind keine klinische Evidenz. Microsofts Zahlen von 85,5 und 80 Prozent stammen aus retrospektiven NEJM-Fällen, bei denen Ärzten untersagt war, Kollegen oder Ressourcen zu konsultieren. Sowohl Sontag als auch Topol sagten WIRED, eine klinische Studie sei der nächste nötige Schritt.
- Die Schlagzeilen-Trefferquote verdeckt das Fehlermuster. Ein Modell kann bei der endgültigen Diagnose 91 Prozent erreichen und bei der frühen Differenzialdiagnose trotzdem in mehr als 80 Prozent der Fälle scheitern, wie Raos Team fand. Regeln, die um eine einzelne Trefferquote herum geschrieben werden, würden genau die Phase verfehlen, in der laut der Studie Schaden entsteht.
- Datenschutzprüfungen messen die falsche Einheit. Aggregierte Angriffserfolgsquoten, der aktuelle Standard, erfassen laut dem Nature-Papier nicht den nahezu perfekten Erfolg gegen Einzelpersonen.
Dazu kommt die Frage, wer die Tests durchführt. Microsoft baute den Benchmark, aus Microsofts Auswahl an Fällen. Das Papier hatte zum Zeitpunkt der Ankündigung das Peer-Review nicht bestanden. Die Studie in JAMA Network Open testete Modelle von der Stange, ohne Beteiligung der Anbieter, und kam zu einem viel schlechteren Ergebnis. Das Nature-Papier zum Datenschutz prüfte sieben Datensätze und fand eine Lücke in der Prüfung.
Nichts davon bedeutet, dass medizinische KI nicht regulierbar ist. Es bedeutet, dass die Zahlen, die Regulierer bekommen, mit einer Herkunft versehen sind. Die Herkunft zählt so viel wie die Zahl.
Knolles erklärtes Ziel war bescheiden. „Ich hoffe, dass die medizinische KI-Community Datenschutzrisiken ernst zu nehmen beginnt und dass Techniken zur Risikominderung dort eingesetzt werden, wo sie nötig sind“, sagte er The Register. Er merkte auch an, dass viele erfolgreiche Membership-Inference-Angriffe einen kleinen oder vernachlässigbaren Datenschutzverstoß darstellen. Das gilt, wenn Modelle auf großen, allgemeinen Populationen trainiert werden, die gesunde und kranke Menschen umfassen. Das Risiko wächst damit, wie eng die Kohorte ist. In der Medizin sind das oft die kränksten und seltensten Patienten.
Suleyman hat gesagt, das Unternehmen werde die nächsten paar Jahre damit verbringen, diese Systeme in der realen Welt zu erproben. Diese Arbeit, nicht der Benchmark, ist es, was jede ernsthafte Regelsetzung am Ende bewerten muss.
Quellen
4- 01Medical diagnosis AIs can be tricked into telling whose data trained themEN
- 02Microsoft AI tool outperforms doctors in diagnosing complex medical casesEN
- 03Microsoft Says Its New AI System Diagnosed Patients 4 Times More Accurately Than Human DoctorsEN
- 04LLMs fail in 8 out of 10 early differential diagnosis casesEN
Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.
Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.
Kommentare
0- Noch keine Kommentare — seien Sie der Erste.