Diagnoza AI pod lupą: pacjenci ujawniają dane treningowe, modele językowe zawodzą w 80% przypadków
Dwa badania opublikowane w 2026 roku pokazują, że diagnostyczne AI można nakłonić do ujawnienia, których pacjentów dane posłużyły do jego treningu. Wykazują też, że wiodące modele językowe zawodzą na wczesnym etapie diagnostyki różnicowej w ponad 8 na 10 przypadków.

Dwa kierunki badań opublikowanych w 2026 roku dają niepokojący obraz diagnostyki medycznej z udziałem AI. Jeden pokazuje, że modele diagnostyczne ujawniają tożsamość pacjentów, których dokumentacja posłużyła do ich treningu. Drugi, że duże modele językowe zawodzą na wczesnych etapach rozumowania klinicznego w ponad 80 procentach przypadków. To te same narzędzia, o które ludzie pytają o swoje objawy. The Register opisał oba, relacjonując prace w momencie ich publikacji.
Problem prywatności pochodzi z pracy w Nature opublikowanej w środę 24 czerwca 2026 roku, według The Register. Niemieccy badacze przetestowali siedem medycznych zbiorów danych AI. Zawierały obrazy, zapisy EKG i ogólne elektroniczne dokumentacje zdrowotne. Odkryli, że modele dyskryminacyjne są szczególnie podatne na ataki wnioskowania o przynależności do zbioru treningowego (MIA). Modele te klasyfikują dane i dokonują predykcji. Ataki polegają na odpytywaniu modelu, aby ustalić, czy konkretny punkt danych był częścią jego zbioru treningowego. Zespół podał, że pojedynczych pacjentów można zidentyfikować z „niemal doskonałym skutkiem ataku”. Standardowe protokoły oceny nie wychwytują tego wskaźnika, przekonują badacze. Protokoły te mierzą skuteczność ataku zbiorczo, na poziomie wszystkich rekordów. Badacze doszli do wniosku, że standardy raportowania audytów prywatności AI muszą się zmienić.
Pacjentów niedoreprezentowanych łatwiej zidentyfikować
Pacjentów słabo reprezentowanych w medycznych danych treningowych AI można zidentyfikować jeszcze łatwiej, wynika z tej samej pracy. Łatwiej niż pacjentów, których dane się nie wyróżniają. The Register wymienił rasę, status ubezpieczenia, płeć, protokół obrazowania i niektóre schorzenia jako kategorie, które mogą działać jak wartości odstające. To sprawia, że jednostki łatwiej wskazać.
Moritz Knolle kieruje Katedrą AI w Ochronie Zdrowia i Medycynie na Uniwersytecie Technicznym w Monachium i jest pierwszym autorem pracy. „Ogólnie rzecz biorąc, ryzyko dla prywatności ze strony MIA rośnie wraz z tym, jak specyficzna staje się kohorta treningowa modelu” – powiedział The Register w rozmowie mailowej. Opisał scenariusze, w których przynależność do zbioru treningowego mogłaby ujawnić, że ktoś ma uśpioną chorobę genetyczną, taką jak choroba Huntingtona, depresję, albo że leczył się w konkretnej specjalistycznej klinice.
Sam atak opiera się na prostej właściwości modeli uczenia maszynowego. Zwykle są pewniejsze, gdy dane wejściowe były częścią ich zbioru treningowego. Napastnik dysponujący częściowymi danymi pacjenta może podać je modelowi i sprawdzić poziom pewności. To ujawnia, czy pacjent był w zbiorze. Knolle powiedział, że praca pokazała, iż atakujący nie potrzebuje pełnego dostępu do punktu danych pacjenta. To sprzeczne z tym, co sądzono wcześniej. „W naszej pracy pokazujemy, że atakujący z częściowym dostępem wciąż może skutecznie przeprowadzić MIA” – powiedział The Register.
„Mam nadzieję, że środowisko medycznej AI zacznie poważnie traktować ryzyko dla prywatności i że techniki ograniczania ryzyka będą stosowane tam, gdzie są konieczne”. Moritz Knolle, Uniwersytet Techniczny w Monachium
Badacze zalecają ramy prywatności różnicowej. Mają one matematycznie gwarantować, że dane treningowe pozostaną anonimowe. Chcą też, by standardy audytu prywatności brały pod uwagę ryzyko na poziomie jednostki, a nie tylko zbiorcze liczby. Inną opcją, jak mówi Knolle, jest takie zestawienie danych treningowych, by grupy niedoreprezentowane były lepiej reprezentowane. „Jest wiele sytuacji, w których udane MIA oznacza niewielkie lub pomijalne naruszenie prywatności” – zauważył. Miał na myśli modele trenowane na dużych populacjach ogólnych, obejmujących zarówno osoby zdrowe, jak i chore.
Modele językowe zawodzą wcześnie, wyglądają na pewne siebie
Osobno badanie opublikowane w JAMA Network Open w kwietniu 2026 roku wykazało, że 21 wiodących gotowych modeli AI zawiodło na wczesnym etapie diagnostyki różnicowej w ponad 8 na 10 przypadków. The Register opisał to badanie 15 kwietnia 2026 roku. Modele testowano na 29 wystandaryzowanych winietach klinicznych. Radziły sobie dobrze, gdy dostawały pełny zestaw informacji medycznych i proszono je o ostateczną diagnozę. Wiodące modele były poprawne w 91 procentach przypadków. Ale wczesna diagnostyka różnicowa to etap, na którym klinicyści wykluczają schorzenia, ważąc możliwości. Tam odsetek błędów przekroczył 80 procent.
Arya Rao jest studentem medycyny na Harvardzie i kierował badaniami. „Każdy testowany przez nas model zawiódł w zdecydowanej większości przypadków” – powiedział The Register w mailu. „To etap, na którym niepewność ma największe znaczenie, i tam te systemy są najsłabsze”.
Rao zauważył, że porażka nie zawsze oznaczała całkowicie błędną odpowiedź. Mierzone surową dokładnością, czyli odsetkiem poprawnych odpowiedzi, modele wypadały w przedziale od 63 do 78 procent. Zespół przekonywał jednak, że surowsza miara błędów wciąż ma znaczenie. Narzędzia AI są reklamowane jako pierwszoliniowe systemy mające zawężać diagnozy. „Reklamowanie LLM jako agentów diagnostycznych grozi budowaniem fałszywej pewności dokładnie tam, gdzie są najmniej niezawodne” – napisali badacze.
Dr Marc Succi jest radiologiem w Massachusetts General Hospital i współautorem pracy. Powiedział The Register, że wyższa skuteczność przy ostatecznej diagnozie nie powinna uspokajać. „Prawdziwe rozumowanie kliniczne zaczyna się wcześniej, gdy niejasność jest największa, i dokładnie tam pozostają najsłabsze” – powiedział. Ostrzegł, że błędna diagnostyka różnicowa może prowadzić do opóźnień w opiece, niepotrzebnych procedur, wysokich kosztów i nie tylko.
Obie prace trafiają w środowisko regulacyjne, które wciąż nadąża. Według analizy branżowej opublikowanej przez IntuitionLabs do połowy 2024 roku amerykańska Agencja ds. Żywności i Leków zatwierdziła około 950 urządzeń medycznych z obsługą AI. Ta sama analiza zauważyła, że tylko znikoma część zatwierdzonych urządzeń AI ma poparcie w badaniach randomizowanych lub danych o wynikach pacjentów. Wskazała też, że FDA wydała wytyczne dotyczące Predetermined Change Control Plans w grudniu 2024 roku.
MD+DI opublikował wywiad z Suzanne Levy Friedman, prawniczką zajmującą się urządzeniami medycznymi w FDA. Zwrócono w nim uwagę, że mimo ponad tysiąca zatwierdzonych przez FDA urządzeń z obsługą AI żadne nie ma wbudowanego modelu uczącego się w sposób ciągły. Friedman powiedziała, że agencja pracuje nad ścieżką do tego. Ale jej główna misja jako agencji zdrowia publicznego oznacza, że musi ważyć innowację i ryzyko. Tym ryzykiem jest poleganie klinicystów na narzędziach, które mogą nie być zwalidowane.
Obie prace sugerują, że walidacja nie dotyczy tylko tego, czy model podaje poprawną ostateczną odpowiedź. Chodzi też o to, czy dochowuje tajemnicy tożsamości pacjenta. I o to, czy potrafi poradzić sobie z niepewnością, zanim diagnoza jest jasna.
Źródła
4- 01Medical diagnosis AIs can be tricked into telling whose data trained themEN
- 02LLMs fail in 8 out of 10 early differential diagnosis casesEN
- 03AI Medical Devices: 2025 Status, Regulation & ChallengesEN
- 04How Is FDA Regulating AI Medical Devices in 2026?EN
Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.
Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.
Komentarze
0- Brak komentarzy — bądź pierwszy.