Modele AI w medycynie zdradzają, na czyich danych je trenowano
Niemieccy badacze pokazali, że modele AI wspomagające diagnozę można odpytać tak, by ujawniły, czy dane konkretnego pacjenta były częścią zbioru treningowego. Na poziomie pojedynczych osób atak udaje się niemal zawsze.

Wyniki opublikowano w piśmie Nature w środę 24 czerwca, tego samego dnia opisał je The Register. Praca obejmuje siedem medycznych zbiorów danych AI: obrazy, zapisy EKG i ogólne elektroniczne dokumentacje medyczne. Zdaniem zespołu obecne audyty prywatności nie wychwytują tego ryzyka, bo mierzą skuteczność ataków zbiorczo, a nie pacjent po pacjencie.
Klasa ataków nie jest nowa. Nowe jest to, jak dobrze działa na modelach medycznych.
Ataki wnioskowania o przynależności (membership inference attacks, MIA) polegają na odpytywaniu modelu, żeby ustalić, czy dany punkt danych trafił do zbioru treningowego. Modele dyskryminacyjne, czyli te służące do klasyfikowania danych i przewidywania nowych wejść, są szczególnie łatwe do sondowania w ten sposób, twierdzą badacze. W ich analizie pojedyncze osoby, na które celowano takim atakiem, dało się zidentyfikować z niemal doskonałą skutecznością, jak to ujmuje praca. To istotne, bo potwierdzona przynależność do zbioru treningowego sama w sobie jest ujawnieniem informacji. Jeśli model trenowano na kohorcie ze specjalistycznej kliniki, dowód, że czyjaś dokumentacja należy do tej kohorty, może zdradzić diagnozę, którą ta osoba wolała zachować dla siebie.
Pacjentów słabiej reprezentowanych łatwiej wskazać
Praca pokazała też, że osoby odstające od reszty zbioru treningowego łatwiej zidentyfikować niż pozostałe. Odstającymi mogą być rasa, status ubezpieczenia, płeć, zastosowany protokół obrazowania i niektóre stany chorobowe, podają badacze.
Moritz Knolle, który kieruje katedrą AI w ochronie zdrowia i medycynie na Uniwersytecie Technicznym w Monachium i jest pierwszym autorem pracy, ujął ten kompromis wprost w wymianie mailowej z The Register. „Mówiąc ogólnie, ryzyko prywatności związane z MIA rośnie, gdy kohorta treningowa modelu staje się bardziej specyficzna” – powiedział. Podał przykład: „Można sobie wyobrazić ... scenariusze, w których przynależność do zbioru treningowego zdradza, że ktoś ma uśpioną chorobę genetyczną, taką jak choroba Huntingtona, depresję, albo leczył się w konkretnej, specjalistycznej klinice”.
Badacze opisują jeszcze jeden efekt działający w drugą stronę. Większe zbiory danych ułatwiają ujawnienie rekordów, a nie utrudniają, a praca stwierdza, że skali tej zmiany ryzyka na poziomie pacjenta nie mierzono wcześniej dla większych modeli.
Czego naprawdę potrzebuje atakujący
To wszystko nie znaczy, że obcy wskaże model i wyciągnie z niego nazwiska. MIA wymaga, by atakujący miał już punkt danych, który chce sprawdzić. Knolle to potwierdził, zaznaczając zarazem, że praca zawęża, ile danych trzeba.
„Żeby przeprowadzić MIA, atakujący potrzebuje dostępu do docelowego punktu danych” – powiedział The Register. „W naszej pracy pokazujemy, że atakujący z częściowym dostępem wciąż może skutecznie przeprowadzać MIA”.
Mechanizm opiera się na pewności modelu. Medyczne systemy AI są zwykle pewniejsze, gdy wejście było w ich zbiorze treningowym, więc atakujący podaje zdobyte dane pacjenta, odczytuje poziom pewności i wnioskuje o przynależności. Knolle powiedział, że atakujący nie musi wiedzieć, do kogo dane należą. Wszystkie zbiory użyte w badaniu były zanonimizowane, dodał, co nie chroni przed tego rodzaju wnioskowaniem. „Atakujący potrzebowałby po prostu dostępu do czyichś wyników badań krwi albo do ich części”, żeby wywnioskować przynależność, powiedział Knolle. Na pytanie, skąd takie dane, wskazał na rutynowe wystawienie, nie na egzotyczne włamanie: „Biorąc pod uwagę, że dane medyczne nie zawsze są bezpiecznie przechowywane, nie jest nie do pomyślenia, że atakujący zdobędzie dostęp, na przykład przez nieuprawnione wejście do bazy twojego lekarza pierwszego kontaktu po rutynowym badaniu krwi”.
Zalecenia i zastrzeżenie
Zalecenia zespołu nie są egzotyczne. Chcą stosowania mechanizmów prywatności różnicowej tam, gdzie ryzyko to uzasadnia, przepisania standardów audytu prywatności tak, by oceniały ryzyko na poziomie jednostki, a nie zbiorczo, oraz budowania zbiorów treningowych tak, by grupy słabiej reprezentowane były lepiej obecne, a nie zostawały odstającymi.
Knolle określił swój cel wąsko. „Mam nadzieję, że środowisko medycznej AI zacznie poważnie traktować ryzyko prywatności i że techniki ograniczania ryzyka będą stosowane tam, gdzie są konieczne” – powiedział. Sprzeciwił się też traktowaniu każdego udanego ataku jako skandalu. „Jest wiele sytuacji, w których udane MIA oznacza małe lub pomijalne naruszenie prywatności” – zauważył, opisując modele trenowane na dużych, ogólnych populacjach, w których występują i osoby zdrowe, i chore.
Kontekst regulacyjny, w który trafia praca, jest gęsty, ale ubogi w konkrety. Relacja The Register zauważa, że standardy raportowania audytów prywatności AI muszą się zmienić, co jest apelem do audytorów i czasopism w równym stopniu co do dostawców. Praca nie proponuje żadnego nowego reżimu certyfikacji i nie wskazuje regulatora, który przyjąłby jej zalecenia.
Istnieje drugi, osobny nurt prac wskazujący w tę samą stronę z innej strony: czy takie systemy w ogóle powinny stawiać diagnozy. Badanie pod kierunkiem Aryi Rao, studenta medycyny na Harvardzie, opublikowane w JAMA Network Open i opisane przez The Register 15 kwietnia, sprawdziło 21 gotowych modeli AI na 29 standaryzowanych opisach przypadków klinicznych. Modele miały rację w 91 procentach przypadków, gdy dostawały pełny zestaw informacji i pytano je o ostateczną diagnozę.
Wczesna diagnoza różnicowa, etap, na którym klinicyści wykluczają i włączają choroby, ważąc niepewność, zawiodła w ponad 8 na 10 przypadków według ścisłej definicji z pracy. „Każdy model, który testowaliśmy, zawiódł w zdecydowanej większości przypadków” – powiedziała Rao The Register. „To etap, na którym niepewność liczy się najbardziej, i tu te systemy są najsłabsze”.
Rao ostrzegła też przed czytaniem odsetka porażek jako całkowitego upadku. Mierzone jako surowa trafność na przypadek, modele wypadały między 63 a 78 procentami, co jej zdaniem sugeruje, że często miały częściowo rację. Współautorka, dr Marc Succi, radiolog w Massachusetts General Hospital, powiedziała, że wyższe wyniki ostatecznych diagnoz nie powinny nikogo uspokajać. „Prawdziwe rozumowanie kliniczne zaczyna się wcześniej, gdy niejasność jest największa, i dokładnie tam zostają najsłabsze” – powiedziała The Register.
Zestaw obie prace obok siebie, a pytanie regulacyjne się wyostrza. Model, który potrafi zdradzić, na czym go trenowano, a mimo to myli większość wczesnych diagnoz różnicowych, jest oferowany na pierwszą linię triażu, a audyty, którymi się go dopuszcza, nie mierzą żadnego z tych dwóch rodzajów ryzyka tam, gdzie naprawdę bolą.
Źródła
2- 01Medical diagnosis AIs can be tricked into telling whose data trained themEN
- 02LLMs fail in 8 out of 10 early differential diagnosis casesEN
Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.
Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.
Komentarze
0- Brak komentarzy — bądź pierwszy.