Przejdź do treści
Czas na świecieEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal o AI i technologiiwydarzenia · analizy · wywiady · tło techniczne

Szukaj
NA ŻYWO
›

Medyczne modele AI można przepytać, by ustalić, na czyich danych się uczyły. Wynika to z pracy w Nature

Niemieccy badacze opisują w pracy opublikowanej w Nature 24 czerwca, że dyskryminacyjne medyczne modele AI można nakłonić do potwierdzenia, czy konkretny pacjent był częścią danych treningowych. W przypadku pojedynczych pacjentów atak kończył się niemal zawsze sukcesem.

ZdrowieAnalizaRenata PawlakOpublikowano: 28 września 20267 min czytaniaŹródła 2
Medyczne modele AI można przepytać, by ustalić, na czyich danych się uczyły. Wynika to z pracy w Nature

Odkrycie, o którym The Register poinformował 24 czerwca, ma mniejsze znaczenie dla tego, co mówi o bezpieczeństwie modeli w ogóle, a większe dla tego, co oznacza dla obietnic prywatności, które pacjentom składają szpitale, ubezpieczyciele i dostawcy AI. Jeśli przynależność do zbioru treningowego da się potwierdzić, sam zbiór staje się kanałem wycieku informacji. I to jest ta niewygodna część.

Moritz Knolle, który na Uniwersytecie Technicznym w Monachium kieruje katedrą AI w ochronie zdrowia i medycynie i stał na czele zespołu autorów, powiedział The Register, że zagrożenie nie jest hipotetyczne. „Można sobie wyobrazić sytuacje, w których przynależność do zbioru treningowego zdradza, że ktoś ma uśpioną chorobę genetyczną, taką jak choroba Huntingtona, depresję, albo że leczył się w konkretnej, specjalistycznej klinice” – mówił. Scenariusz nie jest egzotyczny. To zwyczajna codzienność prowadzenia dokumentacji medycznej.

Klasa ataków nie jest nowa. Ataki wnioskowania o przynależności, w skrócie MIA, są badane w uczeniu maszynowym od lat, a ogólny mechanizm jest dobrze znany: model bywa pewniejszy w przypadku danych, które już widział, więc osoba atakująca, która może odpytywać model i odczytywać jego oceny pewności, wywnioskuje, czy dane weszły do treningu. Praca w Nature dodaje do tego skalę i kliniczną konkretność. Zespół przetestował siedem medycznych zbiorów danych AI obejmujących obrazy, zapisy EKG i ogólne elektroniczne rekordy zdrowotne. Okazało się, że pojedynczych pacjentów można zidentyfikować z niemal zawsze skutecznym atakiem, jak to określają autorzy. To nie jest ciekawostka laboratoryjna. To pomiar tego, jak te modele zachowują się, gdy ktoś zada im właściwe pytanie.

Dlaczego audyty zbiorcze tego nie wychwytują

Ten wynik przeczy temu, jak modele są dziś oceniane. Audyty prywatności zwykle mierzą skuteczność ataku zbiorczo na całym zbiorze danych, co daje uspokajającą średnią. Autorzy pracy przekonują, że to niewłaściwa jednostka analizy. „To, że ataki MIA mogą osiągać niemal zawsze skuteczne wyniki dla pojedynczych pacjentów, nie jest należycie ujęte w standardowym protokole oceny, który mierzy skuteczność ataku zbiorczo na wszystkich rekordach” – piszą badacze. Ich wniosek jest taki, że standardy raportowania audytów prywatności AI muszą się zmienić.

Jest jeszcze drugie odkrycie, które niezręcznie sąsiaduje z pierwszym. Pacjentów słabiej reprezentowanych w kohorcie treningowej łatwiej zidentyfikować niż pozostałych, bo ich punkty danych się wyróżniają. Rasa, status ubezpieczenia, płeć, zastosowany protokół obrazowania i niektóre schorzenia mogą działać jak wartości odstające. Knolle ujmuje ten wzorzec bez ogródek: „Mówiąc ogólnie, ryzyko prywatności związane z MIA rośnie, im bardziej specyficzna jest kohorta treningowa modelu”.

Im większy zbiór danych, tym łatwiej ujawnić pojedyncze rekordy, czytamy w pracy. Badacze zaznaczają, że skala tej zmiany ryzyka na poziomie pacjenta w większych modelach była wcześniej nieznana. To wynik sprzeczny z intuicją dla każdego, kto zakłada, że skala przynosi anonimowość. W obrazowaniu medycznym i genomice często dzieje się odwrotnie.

Czego naprawdę potrzebuje atakujący

Tu obraz praktyczny się komplikuje, a zastrzeżenia samych autorów nabierają wagi. Przeprowadzenie ataku MIA na model medyczny wymaga, żeby atakujący miał już jakieś dane osoby, którą chce zidentyfikować. Knolle to potwierdził. „Żeby przeprowadzić MIA, atakujący potrzebuje dostępu do docelowego punktu danych” – powiedział The Register. Dodał zarazem, że praca pokazuje, iż pełny rekord pacjenta nie jest konieczny, wbrew wcześniejszym założeniom. „W naszej pracy pokazujemy, że atakujący z częściowym dostępem wciąż może skutecznie przeprowadzić MIA”.

Atakujący potrzebowałby po prostu dostępu do czyichś wyników badań krwi albo do ich części.

To znacznie obniża poprzeczkę. Atak polega na podaniu modelowi częściowego rekordu, odczytaniu poziomu pewności i wywnioskowaniu, że pacjent należy do zbioru treningowego. Zbiory użyte w badaniu były zanonimizowane, a Knolle zwraca uwagę, że atakujący nie musi wiedzieć, do kogo należą dane, żeby zadać pytanie. Powiązanie zanonimizowanych danych treningowych z konkretną osobą musi przyjść skądinąd, ale tym skądinąd często jest wyciek.

Wycieki danych w ochronie zdrowia zdarzają się dość często, żeby nie traktować tego jako teoretycznego zmartwienia. Knolle szkicuje scenariusz wprost: atakujący uzyskuje nieuprawniony dostęp do bazy lekarza rodzinnego po rutynowym badaniu krwi i stamtąd może sondować model.

Zapytany, co ma osiągnąć to badanie, Knolle powiedział, że liczy na to, iż środowisko medycznej AI poważnie potraktuje ryzyko prywatności i zastosuje techniki ograniczające je tam, gdzie są potrzebne. Praca zaleca stosowanie mechanizmów prywatności różnicowej, które mają dawać matematyczne gwarancje anonimowości danych treningowych, oraz przebudowany standard audytu, raportujący ryzyko na poziomie jednostki, a nie zbiorczo. Trzecia możliwość, którą Knolle wymienił, to takie zestawianie danych treningowych, żeby grupy słabiej reprezentowane były reprezentowane lepiej, co zmniejsza efekt odstających, ułatwiający ich identyfikację.

Ostrzegł też przed traktowaniem każdego udanego ataku MIA jako poważnego naruszenia. „Jest wiele sytuacji, w których udany MIA oznacza niewielkie lub pomijalne naruszenie prywatności” – zaznaczył, wskazując modele trenowane na dużych, ogólnych populacjach, w których są zarówno osoby zdrowe, jak i chore.

Luka regulacyjna

Na tle obecnych regulacji praca trafia w przestrzeń, której przepisy jak dotąd nie potrafią wypełnić. Audyty prywatności medycznej AI zwykle sprawdzają, czy dane zebrano zgodnie z prawem i czy usunięto identyfikatory, a nie to, czy sam model można przepytać tak, żeby odtworzyć przynależność. Prywatność różnicowa jest dostępna jako technika, ale nie jest wymagana jednolicie. Argument autorów sprowadza się w istocie do tego, że system oceny mierzy nie to, co trzeba.

Ta luka nie dotyczy tylko Europy. Regulatorzy w kilku jurysdykcjach pracują nad tym, jak klasyfikować i nadzorować narzędzia AI używane w warunkach klinicznych. Propozycje sięgają od systemów dopuszczania do obrotu przed wprowadzeniem na rynek po lżejsze wytyczne dla zastosowań o niższym ryzyku. Zdaniem autorów pracy żadne z krążących ram prawnych nie uwzględnia ryzyka przynależności na poziomie jednostki, które pokazują ich eksperymenty.

Istnieje też zbiór dowodów sugerujących, że skuteczność diagnostyczna tych systemów jest słabsza, niż wynika z marketingu. Badanie opublikowane w kwietniu w JAMA Network Open, kierowane przez studenta medycyny na Harvardzie Aryę Rao i opisane przez The Register 15 kwietnia, sprawdziło 21 gotowych modeli AI na 29 standaryzowanych opisach przypadków klinicznych. Modele wypadały dobrze, gdy dostawały pełny zestaw informacji i proszono je o ostateczną diagnozę. Wiodące modele były poprawne w 91 procentach przypadków. Wczesna diagnoza różnicowa, czyli etap, na którym klinicyści ważą konkurencyjne możliwości, zawodziła w ponad 8 na 10 przypadków.

„Każdy model, który testowaliśmy, zawiódł w zdecydowanej większości przypadków” – powiedziała Rao The Register. „To etap, na którym niepewność liczy się najbardziej, i to tam te systemy są najsłabsze”. Dr Marc Succi, radiolog z Massachusetts General Hospital i współautor, powiedział, że wyniki sugerują, iż dzisiejszym gotowym modelom nie należy ufać w rozumowaniu diagnostycznym skierowanym do pacjenta bez ustrukturyzowanego, kompleksowego przeglądu przez człowieka.

Rao zwróciła też uwagę, że surowsza miara porażki nie mówi całej prawdy. Mierzona jako zwykła dokładność, odsetek przypadków, w których model podał całkowicie poprawną odpowiedź, wynosił od 63 do 78 procent. Według niej sugeruje to, że modele często były częściowo poprawne, nawet gdy zawodziły przy surowszej definicji.

Obie prace wskazują w tym samym kierunku, choć patrzą z różnych stron. Jedna pokazuje, że modele mogą ujawnić, kto był w ich danych treningowych. Druga, że są zawodne na etapie rozumowania, na którym wartość kliniczna jest najwyższa. Żadne z tych odkryć samo w sobie nie jest rozstrzygające i żadne nie wyklucza użytecznego wdrożenia w wąskich, dobrze nadzorowanych warunkach.

Podważają jednak założenie, że obecne audyty prywatności i wskaźniki skuteczności razem wystarczą, żeby uznać medyczną AI za bezpieczną. Autorzy pracy w Nature chcą przepisania standardów audytu tak, by raportowały ryzyko na poziomie jednostki. Zespół z JAMA chce, żeby twierdzenia marketingowe o agentach diagnostycznych odpowiadały dowodom. Obie prośby dotyczą tego samego: oceny, która odzwierciedla, jak te systemy zawodzą, a nie jak wypadają średnio.

Komentarze 0

Źródła

2
  1. 01Medical diagnosis AIs can be tricked into telling whose data trained themEN
  2. 02LLMs fail in 8 out of 10 early differential diagnosis casesEN

Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.

Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.

Renata Pawlak

Renata Pawlak

Nauka i zdrowie

Renata Pawlak zajmuje się w FLASH24 nauką i zdrowiem, opierając teksty na publikacjach recenzowanych, komunikatach instytucji i danych źródłowych, a nie na doniesieniach bez pokrycia. Przy każdej liczbie sprawdza metodologię badania, wielkość próby i jednostki, a wyniki porównuje z wcześniejszymi pracami na ten sam temat. Czeka na comiesięczne raporty GUS i NFZ, rozmawia z lekarzami oraz fizykami, a przed publikacją pyta autorów o ograniczenia ich wniosków. Prywatnie interesuje się fizyką materiałów i obserwuje niebo przez własny teleskop, co pomaga jej czytać prace z dziedzin ścisłych. Nie publikuje niczego, czego nie może potwierdzić w co najmniej dwóch niezależnych źródłach.

Redakcja →

Komentarze

0
  1. Brak komentarzy — bądź pierwszy.

Dodaj komentarz

Komentarze są widoczne publicznie. Nie publikujemy wulgaryzmów, spamu i treści reklamowych.