Przejdź do treści
Czas na świecieEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal o AI i technologiiwydarzenia · analizy · wywiady · tło techniczne

Szukaj
NA ŻYWO
›

Audyty prywatności w medycznej AI pomijają to, co najważniejsze: pojedynczych pacjentów

Modele AI diagnostyczne używane w medycynie można skłonić do ujawnienia, czy dane konkretnego pacjenta były częścią ich zbioru treningowego. Niemieccy badacze twierdzą, że standardowy sposób audytu prywatności tych modeli tego nie wychwytuje.

ZdrowieAnalizaRenata PawlakOpublikowano: 27 września 20265 min czytaniaŹródła 2
Audyty prywatności w medycznej AI pomijają to, co najważniejsze: pojedynczych pacjentów

Niemieccy badacze opublikowali w środę pracę w Nature. Podają w niej, że dyskryminacyjne modele AI w medycynie, czyli te służące do klasyfikowania danych i przewidywania na podstawie nowych danych wejściowych, są „szczególnie podatne” na ataki wnioskowania o przynależności do zbioru treningowego (membership inference attacks, MIA). The Register opisał wyniki 24 czerwca.

Atak MIA polega na odpytywaniu modelu, żeby ustalić, czy dany punkt danych znalazł się w jego zbiorze treningowym. W medycznej AI oznacza to, że pacjent, którego dokumentacja pomogła wytrenować model, może zostać ujawniony, a wraz z nim szczegóły jego historii choroby i diagnoz. Zespół przeanalizował siedem zbiorów danych medycznej AI obejmujących obrazy, zapisy EKG i ogólne elektroniczne dokumentacje zdrowotne. Badacze ustalili, że pojedynczych pacjentów, których dotyczyły takie ataki, można było zidentyfikować z „niemal doskonałym powodzeniem ataku”.

Metryki zbiorcze ukrywają problem

Zdaniem badaczy ten odsetek sukcesu nie jest wychwytywany przez sposób, w jaki obecnie ocenia się bezpieczeństwo modeli AI w medycynie. „Fakt, że ataki MIA mogą osiągać niemal doskonałe wskaźniki skuteczności dla pojedynczych pacjentów, nie jest odpowiednio ujęty w standardowym protokole oceny, który mierzy powodzenie ataku zbiorczo, po wszystkich rekordach” – napisali. Na tej podstawie dochodzą do wniosku, że standardy raportowania audytów prywatności AI muszą się zmienić. Pacjentów niedostatecznie reprezentowanych w danych łatwiej zidentyfikować niż pozostałych. Rasa, status ubezpieczenia, płeć, protokół zastosowany przy obrazowaniu medycznym i niektóre schorzenia mogą działać jak wartości odstające – podaje praca. Te odstające przypadki ułatwiają wnioskowanie o przynależności do zbioru.

„Mówiąc ogólnie, ryzyko prywatności związane z atakami MIA rośnie, gdy kohorta treningowa modelu staje się bardziej specyficzna” – powiedział The Register w mailu Moritz Knolle, kierownik katedry AI w Ochronie Zdrowia i Medycynie Uniwersytetu Technicznego w Monachium i główny autor pracy.

Knolle podał przykłady tego, co taka specyfika może ujawnić. „Można sobie wyobrazić (...) scenariusze, w których przynależność do zbioru treningowego zdradza, że ktoś ma uśpioną chorobę genetyczną, taką jak choroba Huntingtona, depresję, albo że uczęszczał do konkretnej, specjalistycznej kliniki leczenia” – powiedział. Większe zbiory danych nie rozwiązują problemu. Według relacji The Register z pracy im większy zbiór danych, tym łatwiej ujawnić rekordy, a „skala tej zmiany ryzyka na poziomie pacjenta była wcześniej nieznana” w większych modelach.

Czego naprawdę potrzebuje atakujący

Atak MIA nie jest zdalny i nie obywa się bez danych wejściowych. Knolle potwierdził, że żeby go przeprowadzić, atakujący potrzebuje dostępu do docelowego punktu danych. Badanie podważa jednak założenie, które wcześniej czyniło takie ataki niepraktycznymi: dostęp do pełnej dokumentacji pacjenta nie jest konieczny. „W naszej pracy pokazujemy, że atakujący z częściowym dostępem wciąż może skutecznie przeprowadzić MIA” – powiedział Knolle The Register.

Sam atak wykorzystuje pewność modelu. Medyczne modele AI są zwykle pewniejsze swoich przewidywań, gdy dane wejściowe były już częścią ich zbioru treningowego. Atakujący podaje modelowi zdobyte dane pacjenta, sprawdza poziom pewności i na tej podstawie wnioskuje, że pacjent jest w danych treningowych.

„Atakujący przeprowadzający MIA nie musi wiedzieć, do kogo należą dane, z którymi próbuje przeprowadzić atak” – powiedział Knolle. „Wszystkie zbiory danych, których użyliśmy w naszym badaniu, były zanonimizowane”. Zbiory danych były zanonimizowane. Dane docelowe już nie. Praca podaje, że ataki MIA na poziomie pojedynczego pacjenta były w dużej mierze bezbłędne, co oznacza, że poziom pewności jest dokładnym sygnałem, czy dane danego pacjenta znajdują się w zbiorze treningowym. W praktyce, jak powiedział Knolle, „atakujący potrzebowałby po prostu dostępu do czyichś wyników badań krwi albo części tych wyników”, żeby wywnioskować przynależność do zbioru. Zdobycie tych danych to pozostała przeszkoda, i zdaniem Knolle’a niewielka. „Biorąc pod uwagę, że dane medyczne nie zawsze są bezpiecznie przechowywane, nie jest nie do pomyślenia, że atakujący mógłby uzyskać dostęp, na przykład przez nieautoryzowany wgląd do bazy danych twojego lekarza rodzinnego po rutynowym badaniu krwi” – powiedział.

Zalecenia i zastrzeżenie

Badacze przedstawiają kilka zaleceń. Jedno dotyczy stosowania ram prywatności różnicowej, które mają matematycznie gwarantować, że dane treningowe pozostaną anonimowe. Drugie to reforma standardów audytu prywatności tak, by uwzględniały ryzyko na poziomie jednostki, a nie tylko zbiorcze ryzyko prywatności. Trzecia opcja, jak powiedział Knolle, to kompilowanie danych treningowych medycznej AI tak, by lepiej reprezentowały grupy niedostatecznie reprezentowane. Knolle wskazał też ograniczenie, jak alarmujący powinien być każdy pojedynczy atak MIA. „Jest wiele sytuacji, w których udany MIA oznacza niewielkie lub pomijalne naruszenie prywatności” – zauważył, wskazując na modele AI trenowane na dużych, ogólnych populacjach, w których występują zarówno osoby zdrowe, jak i chore. Zapytany, co chce osiągnąć tym badaniem, Knolle powiedział, że chce, by środowisko medycznej AI poważnie traktowało ryzyko prywatności i stosowało techniki jego ograniczania tam, gdzie są konieczne.

Drugi tryb awarii

Prywatność to nie jedyna udokumentowana słabość medycznej AI. W kwietniu The Register opisał badanie opublikowane w JAMA Network Open, w którym sprawdzono 21 wiodących gotowych modeli AI na 29 standaryzowanych opisach przypadków klinicznych. Modele dobrze radziły sobie z ostateczną diagnozą, gdy dostały pełny zestaw informacji medycznych: wiodące modele były poprawne w 91 procentach przypadków. Wczesna diagnoza różnicowa to inna historia. Badanie wykazało odsetek błędów powyżej 80 procent na tym etapie. „Każdy testowany przez nas model zawiódł w zdecydowanej większości przypadków” – powiedziała The Register główna autorka Arya Rao, studentka medycyny na Harvardzie. „To etap, na którym niepewność ma największe znaczenie, i tu te systemy są najsłabsze”.

Rao dodała, że surowy wskaźnik błędów nie jest jedynym sposobem odczytania danych. Surowa dokładność, jako odsetek poprawnych przypadków, wynosiła od 63 do 78 procent, co jej zdaniem sugeruje, że modele często były częściowo poprawne, nawet gdy nie podały w pełni poprawnej diagnozy różnicowej. Dr Marc Succi, radiolog z Massachusetts General Hospital i współautor, powiedział, że wyższy odsetek sukcesu przy ostatecznej diagnozie nie powinien uspokajać. „Prawdziwe rozumowanie kliniczne zaczyna się wcześniej, gdy niejasność jest największa, i dokładnie tam pozostają najsłabsze” – powiedział The Register, dodając, że błędna diagnoza różnicowa może prowadzić do opóźnień w leczeniu, niepotrzebnych procedur z powikłaniami i wysokich kosztów.

Obie prace wskazują na tę samą lukę między tym, jak medyczną AI się mierzy, a jak się jej używa. Jedna mierzy prywatność zbiorczo, podczas gdy pojedynczy pacjenci pozostają identyfikowalni. Druga ocenia ostateczne odpowiedzi, podczas gdy wcześniejszy, bardziej niepewny etap rozumowania pozostaje zawodny.

Komentarze 0

Źródła

2
  1. 01Medical diagnosis AIs can be tricked into telling whose data trained themEN
  2. 02LLMs fail in 8 out of 10 early differential diagnosis casesEN

Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.

Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.

Renata Pawlak

Renata Pawlak

Nauka i zdrowie

Renata Pawlak zajmuje się w FLASH24 nauką i zdrowiem, opierając teksty na publikacjach recenzowanych, komunikatach instytucji i danych źródłowych, a nie na doniesieniach bez pokrycia. Przy każdej liczbie sprawdza metodologię badania, wielkość próby i jednostki, a wyniki porównuje z wcześniejszymi pracami na ten sam temat. Czeka na comiesięczne raporty GUS i NFZ, rozmawia z lekarzami oraz fizykami, a przed publikacją pyta autorów o ograniczenia ich wniosków. Prywatnie interesuje się fizyką materiałów i obserwuje niebo przez własny teleskop, co pomaga jej czytać prace z dziedzin ścisłych. Nie publikuje niczego, czego nie może potwierdzić w co najmniej dwóch niezależnych źródłach.

Redakcja →

Komentarze

0
  1. Brak komentarzy — bądź pierwszy.

Dodaj komentarz

Komentarze są widoczne publicznie. Nie publikujemy wulgaryzmów, spamu i treści reklamowych.