Medyczne AI zdradzają, na czym je trenowano, a przepisy tego nie wychwytują
Modele AI wspomagające diagnozę pacjentów potrafią wskazać, czyje dane posłużyły do ich treningu, z „niemal doskonałą skutecznością ataku”. Niemieccy badacze piszą o tym w pracy opublikowanej w Nature 24 czerwca. Ich zdaniem standardy audytu prywatności nie mierzą ryzyka na tym poziomie, na którym ono faktycznie uderza.

Odkrycie opisane przez The Register 24 czerwca pochodzi od zespołu kierowanego przez Moritza Knolle, który na Politechnice Monachijskiej zajmuje się AI w ochronie zdrowia i medycynie. Praca testuje ataki wnioskowania o przynależności do zbioru treningowego (membership inference attacks, MIA) na siedmiu medycznych zbiorach danych: obrazach, zapisach EKG i ogólnych elektronicznych rekordach zdrowotnych. Modele są dyskryminacyjne, czyli klasyfikują dane wejściowe i przewidują na podstawie tego, na czym je trenowano.
Atak MIA wykorzystuje prostą właściwość. Model zwykle jest pewniejszy odpowiedzi na danych, które już widział. Wystarczy podać rekord i odczytać wskaźnik pewności, żeby wywnioskować, czy znajdował się w zbiorze treningowym. Według Knolle „osoba przeprowadzająca MIA nie musi wiedzieć, do kogo należą dane, których używa do ataku”, a wszystkie zbiory użyte w badaniu były zanonimizowane.
Pacjentów ze słabiej reprezentowanych grup łatwiej zidentyfikować
Badacze ustalili, że pacjentów w zbiorze danych na ogół łatwo wyróżnić, a tych słabiej reprezentowanych w danych treningowych jeszcze łatwiej. Rasa, status ubezpieczenia, płeć, zastosowany protokół obrazowania i niektóre schorzenia mogą działać jak wartości odstające, które sprawiają, że dana osoba się wyróżnia.
Ogólnie rzecz biorąc, ryzyko prywatności związane z MIA rośnie, im bardziej specyficzna jest kohorta treningowa modelu. Można sobie wyobrazić scenariusze, w których przynależność do zbioru treningowego ujawnia, że ktoś ma utajoną chorobę genetyczną, taką jak choroba Huntingtona, depresję, albo że uczęszczał do konkretnej, specjalistycznej kliniki leczenia.
Cytat pochodzi od Knolle, który odpowiedział The Register mailem. Wniosek nie jest abstrakcyjny: sama wiedza, że dane danej osoby znajdują się w specjalistycznej kohorcie, może ujawnić diagnozę, której nigdy nie chciała ujawniać, albo stać się podstawą dyskryminacji w ubezpieczeniach, zatrudnieniu czy gdzie indziej.
Skala pogarsza sprawę, a nie poprawia. Praca wykazała, że im większy zbiór danych, tym łatwiej ujawnić rekordy, a „skala tej zmiany ryzyka na poziomie pacjenta była wcześniej nieznana” w większych modelach. To przeczy powszechnemu założeniu, że większe zbiory treningowe rozmywają ekspozycję pojedynczej osoby.
Liczby z audytu nie trafiają w sedno
Tu zaczyna się argument regulacyjny. Badacze twierdzą, że niemal doskonała skuteczność wobec pojedynczych pacjentów „nie jest odpowiednio uchwycona przez standardowy protokół oceny, który mierzy skuteczność ataku zbiorczo, w całym zbiorze rekordów”. Audyt może raportować niski średni wskaźnik skuteczności ataku, podczas gdy poszczególni pacjenci pozostają trywialnie identyfikowalni. Wniosek zespołu jest taki, że standardy raportowania audytów prywatności AI muszą się zmienić.
Zalecenia Knolle obejmują dwa tory. Pierwszy jest techniczny: mechanizmy prywatności różnicowej, zaprojektowane tak, by dawały matematyczną gwarancję anonimowości danych treningowych. Drugi jest proceduralny: przeniesienie audytów ze zbiorczego ryzyka prywatności na ryzyko na poziomie jednostki. Sugeruje też prostsze rozwiązanie: zestawianie medycznych danych treningowych tak, aby grupy słabiej reprezentowane były lepiej reprezentowane od początku. „Mam nadzieję, że społeczność medycznej AI zacznie poważnie traktować ryzyko prywatności i że techniki jego ograniczania będą stosowane tam, gdzie są konieczne” – powiedział The Register.
Każde z tych działań ma realny warunek wstępny. Aby przeprowadzić MIA, atakujący potrzebuje przynajmniej części danych należących do celu. Knolle powiedział, że praca pokazuje, iż pełny rekord pacjenta nie jest konieczny, wbrew temu, co wcześniej sądzono: „W naszej pracy pokazujemy, że atakujący z częściowym dostępem wciąż może skutecznie przeprowadzić MIA”. Podał przykład wyników badań krwi, lub ich części, wystarczających do wywnioskowania przynależności, i wskazał na rutynowe wycieki danych z ochrony zdrowia. „Biorąc pod uwagę, że dane medyczne nie zawsze są bezpiecznie przechowywane, nie jest nie do pomyślenia, że atakujący mógłby uzyskać dostęp, na przykład przez nieautoryzowany dostęp do bazy danych lekarza rodzinnego po rutynowym badaniu krwi” – powiedział.
Knolle uważał, by nie wyolbrzymiać szkody w każdym przypadku. „Jest wiele sytuacji, w których udana MIA oznacza niewielkie lub pomijalne naruszenie prywatności” – zauważył, wskazując na modele trenowane na dużych, ogólnych populacjach, gdzie zarówno osoby zdrowe, jak i chore są reprezentowane w wystarczającej liczbie. Ryzyko koncentruje się tam, gdzie kohorty są wąskie.
Same modele diagnostyczne też są słabe
Prywatność to tylko jeden z dwóch problemów widocznych w tym samym zakątku medycznej AI. Badanie opublikowane w JAMA Network Open w kwietniu, opisane przez The Register 15 kwietnia, przetestowało 21 gotowych modeli AI na 29 standaryzowanych winietach klinicznych. Modele podawały prawidłową diagnozę końcową w 91 procentach przypadków, gdy otrzymały pełny zestaw informacji. W przypadku wczesnej diagnozy różnicowej, na etapie, gdy klinicyści wciąż wykluczają i potwierdzają schorzenia, zawodziły w ponad 8 na 10 przypadków.
Badanie prowadził student medycyny Harvardu Arya Rao. „Każdy model, który testowaliśmy, zawiódł w zdecydowanej większości przypadków” – powiedział Rao The Register. „To etap, na którym niepewność ma największe znaczenie, i tu te systemy są najsłabsze”. Współautor, dr Marc Succi, radiolog w Massachusetts General Hospital, powiedział, że modele „potrafią sprawiać wrażenie pewności siebie bez silnego rozumowania, zwłaszcza wokół diagnozy różnicowej”, i ostrzegł, że ta pewność może nasilać niepokój pacjentów już zmartwionych swoim zdrowiem. Rao zauważył też, że surowa miara porażki jest wymagająca: mierzona jako zwykła dokładność modele uzyskały od 63 do 78 procent, często częściowo poprawne, a nie całkowicie błędne.
Zestawmy obie prace obok siebie, a luka regulacyjna się poszerza. Praca o prywatności mówi, że audyty mierzą niewłaściwą rzecz na niewłaściwym poziomie i że dostawcy potrzebują zachęty do zabezpieczania danych treningowych. Praca o diagnostyce mówi, że marketingowanie tych systemów jako narzędzi pierwszej linii „ryzykuje budowanie fałszywego zaufania dokładnie tam, gdzie są najmniej wiarygodne”, oraz że „LLM nie można jeszcze ufać w podejmowaniu decyzji na pierwszej linii”. W obu przypadkach porażka jest taka, że zbiorcze benchmarki i twierdzenia produktowe mogą ją ukryć.
Badacze proszą o coś węższego niż zakaz. Zmień sposób raportowania ryzyka w audytach prywatności, aby liczył się pojedynczy pacjent. Stosuj prywatność różnicową tam, gdzie kohorty są wrażliwe. Wyrównaj dane treningowe, aby wartości odstające nie były odstające. I traktuj modele jako narzędzia wymagające ludzkiego przeglądu, a nie jako strażników. Żadne z tych działań nie wymaga nowej nauki. Wymaga reżimów oceny, które mierzą to, co naprawdę może zaszkodzić pacjentowi.
Źródła
2- 01Medical diagnosis AIs can be tricked into telling whose data trained themEN
- 02LLMs fail in 8 out of 10 early differential diagnosis casesEN
Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.
Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.
Komentarze
0- Brak komentarzy — bądź pierwszy.