Pacjentów ze zbioru treningowego łatwo rozpoznać, a audyty prywatności tego nie wychwytują
Modele AI trenowane na dokumentacji medycznej można odpytać tak, by ujawniły, kto znalazł się w ich danych treningowych. Niemieccy badacze piszą o „niemal doskonałej skuteczności ataku” na poziomie pojedynczego pacjenta w pracy opublikowanej w Nature 24 czerwca.

Ataki wnioskowania o przynależności (membership inference attacks, MIA) polegają na tym, że model jest pytany, czy konkretny rekord należał do jego zbioru treningowego. Jak relacjonuje The Register, który opisał wyniki 24 czerwca, dyskryminacyjne modele medyczne są na to szczególnie narażone: uczą się klasyfikować dane wejściowe i stają się wyraźnie pewniejsze w przypadku danych, które już widziały.
Właśnie ta pewność jest wyciekiem. Zespół przeanalizował siedem medycznych zbiorów danych, obejmujących obrazy, zapisy EKG i ogólne elektroniczne dokumentacje zdrowotne. Pacjentów, których dotyczyły takie ataki, można było zidentyfikować z niemal doskonałą skutecznością, jak to określa praca. Autorzy twierdzą, że standardowa ewaluacja tego nie wychwytuje, bo mierzy skuteczność ataku zbiorczo dla wszystkich rekordów, a nie dla każdej osoby osobno.
Najłatwiej ujawnić osoby odstające
Grupy słabiej reprezentowane w kohorcie treningowej trudniej ukryć niż typowych pacjentów. Jako odstające mogą działać rasa, status ubezpieczenia, płeć, zastosowany protokół obrazowania i niektóre schorzenia.
Ogólnie rzecz biorąc, ryzyko prywatności związane z MIA rośnie, gdy kohorta treningowa modelu staje się bardziej specyficzna.
To Moritz Knolle, który kieruje katedrą AI w ochronie zdrowia i medycynie na Uniwersytecie Technicznym w Monachium i stał na czele zespołu autorów, w korespondencji mailowej z The Register. Podał przykład modelu, którego lista członków ujawniłaby, że ktoś ma uśpioną chorobę genetyczną, taką jak choroba Huntingtona, depresję albo leczył się w konkretnej specjalistycznej klinice. Większe zbiory danych pogarszały sytuację, a nie poprawiały: praca stwierdza, że skala zmiany ryzyka na poziomie pacjenta w większych modelach była wcześniej nieznana.
Atak wymaga też mniej, niż badacze kiedyś zakładali. Knolle powiedział The Register, że atakujący zwykle potrzebuje dostępu do docelowego punktu danych, a praca pokazuje, że wystarczy dostęp częściowy. Wyniki badań krwi, albo ich część, wystarczą. Wszystkie zbiory użyte w badaniu były zanonimizowane, a atakujący nie musi wiedzieć, czyje dane testuje.
Praktyczną przeszkodą jest zdobycie tych danych, choć nie wysoką. Knolle powiedział, że ponieważ dane medyczne nie zawsze są bezpiecznie przechowywane, nieuprawniony dostęp do bazy lekarza rodzinnego po rutynowym badaniu krwi nie jest nie do pomyślenia.
Czego chcą autorzy
Zalecenia z pracy dotyczą procedur, nie technicznych poprawek w samych modelach. Zespół chce przepisania standardów audytu prywatności tak, by oceniały ryzyko na poziomie jednostki, a nie zbiorcze liczby, i wskazuje na ramy prywatności różnicowej jako sposób na matematyczne gwarancje, że dane treningowe pozostaną anonimowe. Knolle zasugerował też, by dane treningowe kompilować tak, aby grupy słabiej reprezentowane były lepiej reprezentowane.
Stawka nie jest teoretyczna. Osobne badanie opublikowane w JAMA Network Open w kwietniu i opisane przez The Register wykazało, że 21 gotowych modeli AI zawiodło wczesną diagnostykę różnicową w ponad 8 na 10 przypadków, choć czołowe modele osiągnęły 91 procent trafności przy diagnozie ostatecznej. Marc Succi, radiolog z Massachusetts General Hospital i współautor, powiedział, że takim systemom nie należy ufać w rozumowaniu diagnostycznym kierowanym do pacjenta bez ustrukturyzowanego, kompleksowego przeglądu przez człowieka.
Knolle opisał problem prywatności z zastrzeżeniem: w wielu sytuacjach udany atak wnioskowania o przynależności oznacza niewielkie lub pomijalne naruszenie, mianowicie gdy modele trenowano na dużych, ogólnych populacjach obejmujących zarówno osoby zdrowe, jak i chore. Trudność polega na tym, że wyniki samej pracy pokazują, iż właśnie w takich warunkach protokoły audytu zakładają bezpieczeństwo, i właśnie takich warunków, zdaniem autorów, nie mierzy się właściwie.
Źródła
2- 01Medical diagnosis AIs can be tricked into telling whose data trained themEN
- 02LLMs fail in 8 out of 10 early differential diagnosis casesEN
Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.
Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.
Komentarze
0- Brak komentarzy — bądź pierwszy.