Medyczne AI do diagnozy zdradzają, na czyich danych je trenowano, a przepisy tego nie wychwytują

Odkrycie opisane przez The Register 24 czerwca wyszło od zespołu kierowanego przez Moritza Knolle. Knolle na Uniwersytecie Technicznym w Monachium kieruje katedrą AI w ochronie zdrowia i medycynie. Praca testuje ataki wnioskowania o przynależności (MIA) na siedmiu medycznych zbiorach danych AI. Te zbiory to obrazy, zapisy EKG i ogólne elektroniczne dokumenty medyczne. Modele są dyskryminacyjne: klasyfikują dane wejściowe i podejmują decyzje na podstawie tego, na czym je trenowano.

MIA wykorzystuje prostą właściwość. Model bywa pewniejszy wobec danych, które już widział. Wystarczy podać mu rekord, odczytać wynik pewności i wywnioskować, czy rekord należał do zbioru treningowego. Według Knolle atakujący przeprowadzający MIA nie musi wiedzieć, do kogo należą dane, na których próbuje go przeprowadzić. Wszystkie zbiory użyte w badaniu były zanonimizowane.

Pacjentów niedoreprezentowanych łatwiej zidentyfikować

Badanie wykazało, że pacjentów w zbiorze danych na ogół łatwo wyodrębnić, a tych niedoreprezentowanych w danych treningowych jeszcze łatwiej. Rasa, status ubezpieczenia, płeć, zastosowany protokół obrazowania i niektóre stany chorobowe mogą działać jako wartości odstające, które wyróżniają jednostkę.

Ogólnie rzecz biorąc, ryzyko dla prywatności ze strony MIA rośnie, gdy kohorta treningowa modelu staje się bardziej specyficzna. Można sobie wyobrazić scenariusze, w których przynależność do zbioru treningowego zdradza, że ktoś ma uśpioną chorobę genetyczną, taką jak choroba Huntingtona, depresję, albo że uczęszczał do konkretnej, specjalistycznej kliniki leczenia.

Cytat pochodzi od Knolle, który odpowiadał The Register mailowo. Wniosek nie jest abstrakcyjny. Wiedza, że czyjeś dane trafiły do specjalistycznej kohorty, może ujawnić diagnozę, której dana osoba nie zamierzała zdradzić. Może też stać się podstawą dyskryminacji w ubezpieczeniach, zatrudnieniu i gdzie indziej.

Skala pogarsza sprawę, nie poprawia. Praca wykazała, że im większy zbiór danych, tym łatwiej ujawnić rekordy. Wcześniej nie wiedziano, jak duża jest ta zmiana w ryzyku na poziomie pacjenta w większych modelach. To sprzeczne z powszechnym założeniem, że większe zbiory treningowe rozmywają ekspozycję pojedynczej osoby.

Liczby z audytu mijają się z istotą problemu

Tu zaczyna się argument regulacyjny. Badacze twierdzą, że niemal doskonała skuteczność wobec pojedynczych pacjentów nie jest należycie ujęta w standardowym protokole oceny, który mierzy skuteczność ataku zbiorczo, po wszystkich rekordach. Audyt może podać niski średni odsetek udanych ataków, podczas gdy poszczególni pacjenci pozostają trywialnie identyfikowalni. Wniosek zespołu jest taki, że standardy raportowania audytów prywatności AI muszą się zmienić.

Zalecenia Knolle obejmują dwa tory. Pierwszy jest techniczny: frameworki prywatności różnicowej, które mają dawać matematyczną gwarancję, że dane treningowe pozostaną anonimowe. Drugi jest proceduralny: przeniesienie audytów ze zbiorczego ryzyka dla prywatności na ryzyko na poziomie jednostki. Knolle proponuje też prostsze rozwiązanie: zestawianie medycznych danych treningowych tak, by grupy niedoreprezentowane były w nich lepiej reprezentowane od początku. Powiedział The Register, że ma nadzieję, iż środowisko medycznej AI zacznie traktować ryzyko dla prywatności poważnie, a techniki jego ograniczania będą stosowane tam, gdzie są konieczne.

Wszystko to ma jednak realny warunek wstępny. Aby przeprowadzić MIA, atakujący potrzebuje przynajmniej części danych należących do celu. Knolle powiedział, że praca pokazuje, iż pełna dokumentacja pacjenta nie jest konieczna, wbrew temu, co sądzono wcześniej. Jak ujął to w pracy: atakujący z częściowym dostępem wciąż może skutecznie przeprowadzać MIA. Podał przykład wyników badania krwi, albo ich części, jako wystarczających do wywnioskowania przynależności. Wskazał też na rutynowe wycieki danych medycznych. Skoro dane medyczne nie zawsze są bezpiecznie przechowywane, nie jest nie do pomyślenia, że atakujący mógłby uzyskać dostęp, na przykład włamując się do bazy danych lekarza rodzinnego po rutynowym badaniu krwi, powiedział.

Knolle uważał, by nie wyolbrzymiać szkody w każdym przypadku. Zaznaczył, że w wielu sytuacjach udany MIA oznacza niewielkie naruszenie prywatności albo takie, które można pominąć. Wskazał modele trenowane na dużych, ogólnych populacjach, gdzie zarówno osoby zdrowe, jak i chore są reprezentowane w wystarczającej liczbie. Ryzyko skupia się tam, gdzie kohorty są wąskie.

Same modele diagnostyczne też są słabe

Prywatność to tylko jeden z dwóch problemów widocznych w tym samym zakątku medycznej AI. Badanie opublikowane w JAMA Network Open w kwietniu, opisane przez The Register 15 kwietnia, przetestowało 21 gotowych modeli AI na 29 standaryzowanych opisach przypadków klinicznych. Modele miały rację co do ostatecznej diagnozy w 91 procentach przypadków, gdy dostały pełny zestaw informacji. Przy wczesnej diagnozie różnicowej, czyli na etapie, gdy klinicyści wciąż wykluczają i potwierdzają schorzenia, zawiodły w ponad 8 na 10 przypadków.

Badaniem kierował Arya Rao, student medycyny na Harvardzie. Powiedział The Register, że każdy testowany model zawiódł w zdecydowanej większości przypadków, a to etap, na którym niepewność liczy się najbardziej i na którym te systemy są najsłabsze. Współautor, doktor Marc Succi, radiolog w Massachusetts General Hospital, stwierdził, że modele potrafią okazywać pewność siebie bez przedstawiania mocnego rozumowania, zwłaszcza wokół diagnozy różnicowej. Ostrzegł, że ta pewność może nasilać lęk u pacjentów już zmartwionych swoim zdrowiem. Rao zwrócił też uwagę, że surowa miara porażki jest ostra: licząc zwykłą dokładność, modele uzyskiwały od 63 do 78 procent, często będąc częściowo poprawnymi, a nie całkiem błędnymi.

Zestaw obie prace obok siebie, a luka regulacyjna się poszerza. Praca o prywatności mówi, że audyty mierzą niewłaściwą rzecz na niewłaściwym poziomie i że dostawcy potrzebują zachęty do zabezpieczania danych treningowych. Praca o diagnostyce mówi, że marketing tych systemów jako narzędzi pierwszej linii ryzykuje budowanie fałszywego zaufania dokładnie tam, gdzie są najmniej niezawodne, i że LLM nie można jeszcze ufać w podejmowaniu decyzji na pierwszej linii. W obu przypadkach porażkę da się ukryć za zbiorczymi benchmarkami i zapewnieniami producentów.

To, o co proszą badacze, jest węższe niż zakaz. Zmienić sposób, w jaki audyty prywatności raportują ryzyko, tak by liczył się pojedynczy pacjent. Stosować prywatność różnicową tam, gdzie kohorty są wrażliwe. Zbalansować dane treningowe, żeby wartości odstające przestały być odstające. I traktować modele jako narzędzia wymagające przeglądu przez człowieka, a nie jako strażników dostępu. Nic z tego nie wymaga nowej nauki. Wymaga reżimów oceny, które mierzą to, co naprawdę może zaszkodzić pacjentowi.