Audyty prywatności medycznej AI pomijają to, co najważniejsze: pojedynczych pacjentów

Niemieccy badacze opublikowali w środę pracę w Nature. Piszą w niej, że dyskryminacyjne modele medycznej AI, czyli te, które klasyfikują dane i przewidują na podstawie nowych danych wejściowych, są "szczególnie podatne" na ataki wnioskowania o członkostwie (membership inference attacks, MIA). The Register opisał te ustalenia 24 czerwca.

Atak MIA polega na odpytywaniu modelu, żeby ustalić, czy dany punkt danych znalazł się w zbiorze treningowym. W medycznej AI oznacza to, że pacjent, którego dokumentacja pomogła wytrenować model, może zostać zdemaskowany, a wraz z nim wyciekną szczegóły jego historii choroby i diagnoz. Zespół przeanalizował siedem medycznych zbiorów danych AI: obrazy, zapisy EKG i ogólne elektroniczne dokumentacje medyczne. Ustalił, że pojedynczych pacjentów wytypowanych w takich atakach można zidentyfikować z "niemal doskonałą skutecznością ataku".

Metryki zbiorcze ukrywają problem

Zdaniem badaczy ten wskaźnik skuteczności umyka obecnym metodom oceny bezpieczeństwa modeli medycznej AI. "To, że ataki MIA mogą osiągać niemal doskonałą skuteczność w przypadku pojedynczych pacjentów, nie jest odpowiednio ujęte w standardowym protokole oceny, który mierzy skuteczność ataku zbiorczo, na poziomie wszystkich rekordów" - napisali. Na tej podstawie wnioskują, że standardy raportowania audytów prywatności AI muszą się zmienić. Pacjentów niedostatecznie reprezentowanych w danych łatwiej zidentyfikować niż pozostałych. Rasa, status ubezpieczenia, płeć, protokół zastosowany przy obrazowaniu medycznym oraz niektóre stany chorobowe mogą działać jak wartości odstające - czytamy w pracy. Te odstające przypadki ułatwiają wnioskowanie o członkostwie.

"Ogólnie rzecz biorąc, ryzyko dla prywatności ze strony ataków MIA rośnie, im bardziej specyficzna staje się kohorta treningowa modelu" - powiedział The Register w mailu Moritz Knolle, kierownik katedry AI w ochronie zdrowia i medycynie na Uniwersytecie Technicznym w Monachium i główny autor pracy.

Knolle podał przykłady tego, co taka specyfika może ujawnić. "Można sobie wyobrazić ... scenariusze, w których przynależność do zbioru treningowego zdradza, że ktoś ma uśpioną chorobę genetyczną, taką jak choroba Huntingtona, depresję, albo że uczęszczał do konkretnej, specjalistycznej kliniki leczenia" - powiedział. Większe zbiory danych nie rozwiązują problemu. Według tekstu The Register o pracy, im większy zbiór danych, tym łatwiej ujawnić rekordy, a "skala tej zmiany w ryzyku na poziomie pacjenta była wcześniej nieznana" w większych modelach.

Czego faktycznie potrzebuje atakujący

Atak MIA nie jest atakiem zdalnym, bez danych wejściowych. Knolle potwierdził, że aby go przeprowadzić, atakujący potrzebuje dostępu do docelowego punktu danych. Badanie podważa jednak założenie, które wcześniej czyniło te ataki niepraktycznymi: dostęp do pełnej dokumentacji pacjenta nie jest konieczny. "W naszej pracy pokazujemy, że atakujący z częściowym dostępem wciąż może skutecznie przeprowadzić ataki MIA" - powiedział Knolle The Register.

Sam atak wykorzystuje pewność modelu. Medyczne modele AI są zwykle bardziej pewne swoich przewidywań, gdy dane wejściowe wchodziły już w skład zbioru treningowego. Atakujący podaje modelowi zdobyte dane pacjenta, sprawdza poziom pewności i na tej podstawie wnioskuje, że pacjent jest w danych treningowych.

"Atakujący przeprowadzający MIA nie musi wiedzieć, do kogo należą dane, na których próbuje przeprowadzić atak" - powiedział Knolle. "Wszystkie zbiory danych, których używamy w naszym badaniu, były zanonimizowane". Zbiory danych były zanonimizowane. Dane docelowe nie. Praca podaje, że ataki MIA były w dużej mierze bezbłędne na poziomie pojedynczego pacjenta. Poziomy pewności są więc dokładnym sygnałem tego, czy dane danego pacjenta znajdują się w zbiorze treningowym. W praktyce, jak powiedział Knolle, "atakujący potrzebowałby po prostu dostępu do czyichś wyników badań krwi albo części tych wyników", żeby wywnioskować przynależność. Zdobycie tych danych to ostatnia przeszkoda i w ocenie Knolle'a niewielka. "Biorąc pod uwagę, że dane medyczne nie zawsze są bezpiecznie przechowywane, nie jest nie do pomyślenia, że atakujący mógłby uzyskać dostęp, na przykład wchodząc bez uprawnień do bazy danych twojego lekarza rodzinnego po tym, jak zlecił on rutynowe badanie krwi" - powiedział.

Zalecenia i zastrzeżenie

Badacze formułują kilka zaleceń. Jedno dotyczy stosowania ram prywatności różnicowej, zaprojektowanych tak, by matematycznie gwarantować, że dane treningowe pozostaną anonimowe. Kolejne to reforma standardów audytu prywatności, tak aby uwzględniały ryzyko na poziomie jednostki, a nie tylko zbiorcze ryzyko dla prywatności. Trzecia możliwość, jak powiedział Knolle, to takie zestawianie danych treningowych medycznej AI, żeby grupy niedostatecznie reprezentowane były reprezentowane lepiej. Knolle wskazał też ograniczenie tego, jak alarmujący powinien być pojedynczy udany atak MIA. "Jest wiele sytuacji, w których udany atak MIA oznacza niewielkie lub pomijalne naruszenie prywatności" - zauważył, wskazując na modele AI trenowane na dużych, ogólnych populacjach, w których obecni są zarówno zdrowi, jak i chorzy. Zapytany, co chce osiągnąć swoim badaniem, Knolle powiedział, że chce, by środowisko medycznej AI poważnie traktowało ryzyko dla prywatności i stosowało techniki jego ograniczania tam, gdzie są konieczne.

Drugi tryb awarii

Prywatność to nie jedyna udokumentowana słabość medycznej AI. W kwietniu The Register opisał badanie opublikowane w JAMA Network Open, które objęło 21 wiodących gotowych modeli AI i 29 standardowych winiet klinicznych. Modele radziły sobie dobrze z ostateczną diagnozą, gdy otrzymały pełny zestaw informacji medycznych, a wiodące modele były poprawne w 91 procentach przypadków. Wczesna diagnoza różnicowa to inna historia. Badanie wykazało wskaźnik błędów powyżej 80 procent na tym etapie. "Każdy model, który testowaliśmy, zawiódł w zdecydowanej większości przypadków" - powiedziała The Register główna autorka Arya Rao, studentka medycyny na Harvardzie. "To etap, na którym niepewność ma największe znaczenie, i właśnie tam te systemy są najsłabsze".

Rao dodała, że rygorystyczna miara błędów to nie jedyny sposób czytania tych danych. Surowa dokładność, jako odsetek poprawnych przypadków, wynosiła od 63 do 78 procent. Jej zdaniem sugeruje to, że modele często były częściowo poprawne, nawet gdy nie podały w pełni poprawnej diagnozy różnicowej. Dr Marc Succi, radiolog z Massachusetts General Hospital i współautor, powiedział, że wyższa skuteczność przy ostatecznej diagnozie nie powinna uspokajać. "Prawdziwe rozumowanie kliniczne zaczyna się wcześniej, gdy niejednoznaczność jest największa, i dokładnie tam pozostają najsłabsze" - powiedział The Register, dodając, że błędna diagnoza różnicowa może prowadzić do opóźnień w opiece, niepotrzebnych procedur z powikłaniami i wysokich kosztów.

Obie prace wskazują na tę samą lukę między tym, jak medyczna AI jest mierzona, a tym, jak jest używana. Jedna mierzy prywatność zbiorczo, podczas gdy pojedynczy pacjenci pozostają identyfikowalni. Druga ocenia ostateczne odpowiedzi, podczas gdy wcześniejszy, bardziej niepewny etap rozumowania pozostaje zawodny.