Audyty prywatności w medycznej AI nie wychwytują wycieków na poziomie pacjenta, wynika z pracy w Nature

Niemieccy badacze sprawdzili siedem medycznych zbiorów danych do uczenia AI: obrazy, zapisy EKG i ogólne elektroniczne dokumenty medyczne. W atakach wnioskowania o przynależności (membership inference attacks, MIA) chodzi o to, by odpytać model i ustalić, czy dany punkt danych znajduje się w zbiorze treningowym. Na pojedynczych pacjentach takie ataki działały znacznie skuteczniej, niż sugerują zbiorcze wskaźniki prywatności. The Register opisał to 24 czerwca.

Wniosek z pracy jest niewygodny dla każdego, kto audytuje medyczną AI według obecnych przepisów. "To, że MIA mogą osiągać niemal doskonałe wskaźniki skuteczności dla pojedynczych pacjentów, nie jest odpowiednio ujęte w standardowym protokole oceny, który mierzy skuteczność ataku zbiorczo, po wszystkich rekordach" - piszą badacze. Ich zdaniem standardy raportowania audytów prywatności AI muszą się zmienić.

Kogo najłatwiej zidentyfikować

Najłatwiej wskazać pacjentów słabo reprezentowanych w zbiorze treningowym. Rasa, status ubezpieczenia, płeć, zastosowany protokół obrazowania i niektóre choroby mogą działać jak wartości odstające, które wyostrzają atak, czytamy w pracy.

Moritz Knolle kieruje katedrą AI w ochronie zdrowia i medycynie na Uniwersytecie Technicznym w Monachium i stał na czele zespołu. W mailu do The Register opisał, co to znaczy w praktyce. "Ogólnie rzecz biorąc, ryzyko dla prywatności ze strony MIA rośnie, gdy kohorta treningowa modelu staje się bardziej specyficzna" - powiedział. Dodał, że przynależność może ujawnić utajoną chorobę genetyczną, taką jak choroba Huntingtona, depresję albo fakt leczenia w specjalistycznej klinice. Innymi słowy, wyciek zbioru treningowego potrafi odsłonić schorzenia, o których nikt nigdzie nie mówił.

Dwa kolejne wyniki pogarszają obraz. Im większy zbiór danych, tym łatwiej ujawnić pojedyncze rekordy. Skali tej zmiany ryzyka na poziomie pacjenta w większych modelach nikt wcześniej nie mierzył.

Czego naprawdę potrzebuje atakujący

Atak opiera się na prostym mechanizmie: medyczna AI jest zwykle pewniejsza, gdy dane wejściowe były już częścią jej zbioru treningowego. Atakujący podaje dane pacjenta, odczytuje poziom pewności i wyciąga z niego wniosek o przynależności.

"W naszej pracy pokazujemy, że atakujący z częściowym dostępem wciąż może skutecznie przeprowadzać MIA" - powiedział Knolle The Register.

Ma to znaczenie, bo wcześniej zakładano, że potrzebny jest pełny rekord pacjenta. Knolle mówi, że atakujący "potrzebowałby po prostu dostępu do czyichś wyników badań krwi albo części tych wyników", by wywnioskować przynależność. Zbiory użyte w badaniu były zanonimizowane, ale dane, których dotyczy atak, nie muszą być.

Zdobycie takich danych jest trudniejszą częścią zadania, ale nie aż tak trudną. Knolle wskazał na częstotliwość wycieków w ochronie zdrowia i zasugerował, że atakujący mógłby uzyskać nieuprawniony dostęp do bazy gabinetu lekarza rodzinnego po rutynowym badaniu krwi.

Dlaczego problemem są zasady audytu

Praca nie twierdzi, że każdy udany atak MIA to skandal. Knolle powiedział The Register, że wiele skutecznych ataków oznacza niewielkie lub pomijalne naruszenie prywatności. Wymienił modele trenowane na dużych, ogólnych populacjach, w których zarówno zdrowi, jak i chorzy są dobrze reprezentowani. Problem jest węższy i trudniejszy do uregulowania: specyficzne kohorty, rzadkie choroby i każda grupa, która w danych treningowych pojawia się zbyt rzadko.

W kwietniu osobne badanie w JAMA Network Open, kierowane przez Aryę Rao, studenta medycyny na Harvardzie, sprawdziło 21 gotowych modeli AI na 29 winietach klinicznych. Modele stawiały poprawną diagnozę końcową w 91 procentach przypadków, ale zawodziły na wczesnym etapie diagnozy różnicowej w ponad 8 na 10 przypadków, pisał The Register 15 kwietnia. Współautor, dr Marc Succi, radiolog w Massachusetts General Hospital, powiedział, że takie systemy "potrafią sprawiać wrażenie pewnych siebie, nie pokazując solidnego rozumowania". Wzorzec jest ten sam, który wykorzystuje praca o prywatności: pewność modelu nie jest wiarygodnym sygnałem, a w dwóch bardzo różnych kontekstach używa się jej właśnie tak.

Regulatorzy działają, choć kierunek jest nieustalony. Zebrane dla kontekstu doniesienia to brytyjska propozycja regulacji AI w ochronie zdrowia na zasadzie "L-plate", stanowienie prawa na poziomie stanów w USA oraz wytyczne australijskiego TGA dotyczące wyrobów medycznych z AI. Żadne z nich nie adresuje luki, którą zidentyfikował zespół Knollego, bo luka dotyczy tego, jak mierzy się prywatność, a nie tego, czy urządzenie zostało dopuszczone.

Badacze zalecają mechanizmy prywatności różnicowej, które mają dawać matematyczną gwarancję, że dane treningowe pozostaną anonimowe. Chcą też przepisania standardów audytu prywatności tak, by oceniały ryzyko na poziomie pojedynczego pacjenta, a nie zbiorczo. Trzecia opcja, którą podniósł Knolle, jest prostsza: tak zestawić dane treningowe, by grupy słabo reprezentowane pojawiały się częściej. Zmniejsza to efekt odstających, który w ogóle czyni je rozpoznawalnymi.

"Mam nadzieję, że środowisko medycznej AI zacznie poważnie traktować ryzyko dla prywatności i że techniki ograniczania tego ryzyka będą stosowane tam, gdzie są potrzebne" - powiedział Knolle The Register.