Zum Inhalt
WeltzeitEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal über KI und Technologieereignisse · analysen · interviews · technischer hintergrund

Suche
LIVE
›

EU AI Act und KI in der medizinischen Diagnose: Was die Regeln tatsächlich sagen

KI für medizinische Diagnosen wird schneller verkauft, als Aufsichtsbehörden sie prüfen können. Drei aktuelle Studien zeigen das Kernproblem: Die Modelle lassen sich schwer überprüfen, schwer absichern und schwer quantifizieren.

GesundheitErklärtHanna VogtVeröffentlicht: 27. September 20265 Min. LesezeitQuellen 5
EU AI Act und KI in der medizinischen Diagnose: Was die Regeln tatsächlich sagen

Die regulatorische Frage lautet nicht, ob KI diagnostizieren kann. Sie lautet, ob jemand belegen kann, wie gut sie das tut. Zwei im Abstand von Monaten veröffentlichte Arbeiten zeigen, wie weit die Lücke inzwischen ist.

Am 24. Juni 2026 berichteten Forscher der Technischen Universität München in Nature, dass medizinische KI-Modelle für die Diagnose anfällig für Membership-Inference-Angriffe (MIA) sind. Bei einem MIA handelt es sich um eine Abfrage, die herauszufinden versucht, ob die Akte eines bestimmten Patienten Teil des Trainingsdatensatzes war. The Register berichtete am selben Tag über die Arbeit. Das Team testete sieben medizinische KI-Datensätze mit Bildern, EKG-Aufzeichnungen und allgemeinen elektronischen Gesundheitsakten. Einzelne Patienten, so das Ergebnis der Autoren, lassen sich mit nahezu perfekter Erfolgsquote identifizieren.

Das ist ein Datenschutzproblem. Es ist zugleich ein Messproblem. Das übliche Bewertungsprotokoll misst den Angriffserfolg aggregiert über alle Datensätze. Wie die Forscher anmerken, erfasst dieser Ansatz die nahezu perfekten Erfolgsquoten bei einzelnen Patienten nicht ausreichend. Eine Prüfung, die einen Durchschnittswert meldet, kann den Einzelfall vollständig verfehlen.

Was die Regeln verlangen und was sie übersehen

Der EU AI Act ist der Rahmen, der in dieser Debatte am häufigsten genannt wird, und öffentliche Details zu seiner praktischen Umsetzung sind dünn. Was die Quellenlage zeigt, ist eine Lücke zwischen der Compliance-Sprache der Anbieter und der Sicherheitsforschung, die im selben Zeitraum veröffentlicht wurde.

Ein GitHub-Projekt namens srta-ai-accountability beschreibt sich selbst als erstes System, das Warum-Fragen in der erklärbaren KI mit 94% EU-AI-Act-Compliance adressiert. Es ist ausdrücklich als Forschungsprototyp und konzeptionelle Architektur gekennzeichnet. Das ist der Stand bei mindestens einem Teil der Accountability-Werkzeuge: eine Behauptung von 94% Compliance, veröffentlicht in einem Coderepository, ohne dass eine Aufsichtsbehörde hinter dieser Zahl steht.

Die Münchner Arbeit weist in eine andere Richtung. Ihre Autoren wollen die Berichtsstandards für KI-Datenschutzprüfungen ändern, damit Risiken auf Ebene des Individuums zählen und nicht nur aggregierte Risiken. Sie empfehlen außerdem Rahmenwerke für differenzielle Privatsphäre, die mathematisch garantieren sollen, dass Trainingsdaten anonym bleiben. Zudem regen sie an, Trainingsdaten so zusammenzustellen, dass unterrepräsentierte Gruppen besser vertreten sind.

Der Erstautor Moritz Knolle sagte gegenüber The Register, Datenschutzrisiken durch MIA würden schwerwiegender, je spezifischer die Trainingskohorte eines Modells sei. Er nannte das Beispiel, dass die Mitgliedschaft in einem Trainingsdatensatz offenlegen kann, dass jemand eine ruhende genetische Erkrankung wie die Huntington-Krankheit hat, an Depressionen leidet oder eine bestimmte spezialisierte Behandlungsklinik besucht hat.

Die Genauigkeitsversprechen, die Aufsichtsbehörden abwägen müssen

Die diagnostische Leistung ist die andere Hälfte des regulatorischen Problems, und die Zahlen sind hier ungewöhnlich unübersichtlich.

Microsoft kündigte am 30. Juni 2025 seinen AI Diagnostic Orchestrator (MAI-DxO) an. GeekWire berichtete, das Werkzeug habe 21 erfahrene Ärzte aus den USA und Großbritannien bei komplexen Fällen aus dem New England Journal of Medicine geschlagen, mit 85,5% gegenüber 20% bei den Ärzten. WIRED, das am 1. Juli 2025 über dieselbe Arbeit berichtete, nannte 80% gegenüber 20% und schrieb, das System senke die Kosten um 20%, indem es günstigere Tests auswähle. Der Benchmark basierte auf 304 aktuellen NEJM-Fällen.

Diese Zahlen tragen einen Vorbehalt, der in beiden Berichten auftaucht. Die Ärzte der Studie durften weder Kollegen konsultieren noch externe Ressourcen nutzen, was nicht der Arbeitsweise von Klinikern entspricht. Der MIT-Wissenschaftler David Sontag sagte zu WIRED, Microsofts Ergebnisse seien genau aus diesem Grund mit Vorsicht zu behandeln. Er stellte auch infrage, ob das System in der Praxis Kosten senken würde. Microsoft selbst erklärte, das Werkzeug benötige klinische Tests und eine behördliche Zulassung, bevor es eingesetzt werden könne.

Dann ist da der Fehlerfall. Am 15. April 2026 berichtete The Register über eine Studie in JAMA Network Open unter Leitung des Harvard-Medizinstudenten Arya Rao. Sie testete 21 führende Standard-KI-Modelle an 29 standardisierten klinischen Vignetten. Die Modelle lagen in 91% der Fälle richtig, wenn nach einer endgültigen Diagnose mit vollständigen Informationen gefragt wurde. Bei der frühen Differenzialdiagnose jedoch, der Phase, in der Kliniker Erkrankungen in Betracht ziehen und ausschließen, versagten sie in mehr als 8 von 10 Fällen.

Jedes Modell, das wir getestet haben, versagte in der überwiegenden Mehrzahl der Fälle, sagte Rao zu The Register. Das ist die Phase, in der Unsicherheit am meisten zählt, und dort sind diese Systeme am schwächsten.

Der Radiologe Dr. Marc Succi vom Massachusetts General Hospital, ein Mitautor, sagte derselben Publikation, den heutigen Standardmodellen sollte man bei patientennaher diagnostischer Argumentation nicht trauen, solange keine strukturierte umfassende menschliche Prüfung erfolgt. Er sagte außerdem, höhere Erfolgsquoten bei der endgültigen Diagnose sollten nicht beruhigen, weil echtes klinisches Denken früher beginne, wenn die Unklarheit am größten sei.

Was eine Aufsichtsbehörde prüfen müsste

Legt man die drei Befunde nebeneinander, wird das Prüfproblem konkret.

  • Datenschutz: Einzelne Patienten in einem Trainingsdatensatz lassen sich mit hoher Erfolgsquote identifizieren, und unterrepräsentierte Gruppen sind leichter zu identifizieren als andere. Die aggregierte Berichterstattung verdeckt das.
  • Leistung: Dieselbe Modellklasse kann bei der endgültigen Diagnose 91% erreichen und in mehr als 80% der frühen Differenzialfälle versagen.
  • Benchmark-Design: Microsofts Schlagzeilenergebnis stammte aus einem Test, bei dem menschliche Ärzte ohne die Ressourcen arbeiteten, die sie normalerweise nutzen.

Nichts davon bedeutet, dass medizinische KI nicht reguliert werden kann. Es bedeutet, dass die derzeitigen Instrumente die falsche Einheit messen. Ein aggregierter Datenschutzwert, eine Trefferquote bei der endgültigen Antwort und ein Benchmark unter künstlichen Bedingungen lassen sich alle leicht veröffentlichen und schwer widerlegen.

Knolle sagte, er hoffe, dass die Gemeinschaft der medizinischen KI Datenschutzrisiken ernst zu nehmen beginne und dass Techniken zur Risikominderung dort eingesetzt würden, wo sie nötig seien. Er merkte auch an, dass es viele Situationen gebe, in denen ein erfolgreicher MIA einen geringen oder vernachlässigbaren Datenschutzverstoß darstelle, etwa bei Modellen, die auf großen allgemeinen Populationen trainiert wurden.

Die ungeklärte Frage ist, wer entscheidet, in welcher Situation sich ein gegebenes Modell befindet. Nach dem EU AI Act soll diese Entscheidung beim Anbieter und beim Prüfer liegen, nicht bei den Autoren einer Arbeit und nicht bei einem Repository, das sich selbst mit 94% bewertet.

Kommentare 0

Quellen

5
  1. 01Medical diagnosis AIs can be tricked into telling whose data trained themEN
  2. 02Microsoft AI tool outperforms doctors in diagnosing complex medical casesEN
  3. 03Microsoft Says New AI Diagnosed Patients 4 Times More Accurately Than DoctorsEN
  4. 04LLMs fail in 8 out of 10 early differential diagnosis casesEN
  5. 05srta-ai-accountability: AI Accountability FrameworkEN

Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.

Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.

Hanna Vogt

Hanna Vogt

Wissenschaft und Gesundheit

Hanna Vogt schreibt für FLASH24 über Wissenschaft und Gesundheit und stützt sich dabei auf Primärstudien, Behördenberichte und Rohdaten statt auf Pressemitteilungen. Bei Zahlen prüft sie Stichprobengrößen, Konfidenzintervalle und ob die zitierte Quelle die Aussage tatsächlich deckt. Für ihre Texte spricht sie mit Studienautorinnen, wartet auf Peer-Review-Fassungen und vergleicht Vorabdrucke mit der finalen Publikation. Dass sie privat Materialphysik verfolgt und mit eigenem Teleskop den Himmel beobachtet, erklärt, warum sie bei Messmethoden und Instrumenten genau nachfragt. Sie publiziert keine Ergebnisse, deren Datengrundlage sie nicht selbst eingesehen hat.

Redaktion →

Kommentare

0
  1. Noch keine Kommentare — seien Sie der Erste.

Kommentar schreiben

Kommentare sind öffentlich sichtbar. Wir veröffentlichen keine Beleidigungen, Werbung oder Spam.