Przejdź do treści
Czas na świecieEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal o AI i technologiiwydarzenia · analizy · wywiady · tło techniczne

Szukaj
NA ŻYWO
›

Medyczna AI potrafi wskazać pacjentów, na których się uczyła, twierdzą badacze

Niemieccy badacze donieśli w pracy opublikowanej w środę w „Nature”, że modele AI do diagnostyki medycznej można nakłonić do ujawnienia, czy dane konkretnego pacjenta posłużyły do ich trenowania. W przypadku pojedynczych pacjentów skuteczność ataku była niemal pełna. Wyniki pojawiają się w momencie, gdy FDA, UE i WHO wciąż piszą przepisy o tym, jak takie urządzenia mają być audytowane.

ZdrowieAnalizaRenata PawlakOpublikowano: 27 września 20266 min czytaniaŹródła 4
Medyczna AI potrafi wskazać pacjentów, na których się uczyła, twierdzą badacze

Atak nazywa się membership inference attack, w skrócie MIA. The Register poinformował 24 czerwca, że zespół zbadał siedem medycznych zbiorów danych AI, obejmujących obrazy, zapisy EKG i ogólne elektroniczne dokumenty zdrowia. Badacze ustalili, że pacjentów, których dotyczy taki atak, można zidentyfikować z niemal pełną skutecznością. Jak podaje praca, standardowy protokół oceny tego nie wychwytuje, bo mierzy skuteczność ataku zbiorczo, po wszystkich rekordach.

Medyczne modele AI są pewniejsze, gdy dane wejściowe już znajdują się w ich zbiorze treningowym. Atakujący podaje modelowi dane pacjenta, odczytuje poziom pewności i wnioskuje, że pacjent należał do kohorty treningowej.

Moritz Knolle z Uniwersytetu Technicznego w Monachium, pierwszy autor pracy, powiedział The Register, że atakujący nie musi wiedzieć, do kogo należą dane. „Wszystkie zbiory, których użyliśmy w badaniu, były anonimowe” powiedział. Wystarczy częściowy dostęp. „Atakujący potrzebowałby po prostu wyników czyjejś morfologii albo części tych wyników”.

Najłatwiej wskazać odstających przypadków

Wzorzec tego, kto jest narażony, jest niewygodny. Grupy słabiej reprezentowane w medycznych danych treningowych łatwiej zidentyfikować niż pacjentów, których rekordy się rozpływają. Praca wymienia rasę, status ubezpieczenia, płeć, zastosowany protokół obrazowania i niektóre stany chorobowe jako kategorie, które mogą działać jak przypadki odstające. Podsumowanie Knollego dla The Register: „Ogólnie rzecz biorąc, ryzyko prywatności związane z MIA rośnie, im bardziej specyficzna jest kohorta treningowa modelu”.

Podał przykład kohorty treningowej, która ujawnia utajoną chorobę genetyczną, taką jak choroba Huntingtona, depresja albo leczenie w wyspecjalizowanej klinice. Innymi słowy, sama przynależność do zbioru zdradza diagnozę. Praca wykazała też, że im większy zbiór danych, tym łatwiej ujawnić rekordy, a skali tej zmiany ryzyka na poziomie pacjenta w większych modelach wcześniej nie znano.

Atakujący potrzebuje pewnych danych medycznych o osobach, które chce zidentyfikować. Wycieki w ochronie zdrowia są wystarczająco częste, że nie stanowi to wysokiej poprzeczki. Knolle opisał scenariusz nieuprawnionego dostępu do bazy lekarza rodzinnego po rutynowym badaniu krwi.

Jego deklarowany cel jest wąski: żeby środowisko medycznej AI poważnie traktowało ryzyko prywatności i stosowało środki zaradcze tam, gdzie są potrzebne. Praca zaleca ramy differential privacy, które mają dawać matematyczną gwarancję, że dane treningowe pozostają anonimowe, oraz przepisanie standardów audytu prywatności tak, by mierzyły ryzyko na poziomie jednostki, a nie zbiorczo. Knolle wymienił też lepsze reprezentowanie słabiej reprezentowanych grup przy kompletowaniu danych treningowych.

Regulatorzy wciąż nadrabiają podstawy

To wszystko trafia w obraz regulacyjny, który się zmienia, i to nierówno. IntuitionLabs w raporcie zaktualizowanym 18 sierpnia podaje, że według FDA do połowy 2024 roku zatwierdzono około 950 urządzeń AI i uczenia maszynowego, z około 100 nowymi zgodami rocznie. Analitycy rynkowi cytowani w tym samym raporcie wycenili urządzenia medyczne z AI na 13,7 mld dolarów w 2024 roku i prognozowali ponad 255 mld dolarów do 2033 roku. Zgody zdominowała radiologia, a rozwijają się kardiologia, neurologia, anestezjologia i oftalmologia.

Ten sam raport zauważa, że przeglądy systematyczne znajdują tylko drobny ułamek zatwierdzonych urządzeń AI z poparciem w badaniach randomizowanych lub danych o wynikach pacjentów, a awarie urządzeń wiązano z obrażeniami i, w jednym zgłoszonym przypadku, ze zgonem. Cytuje narzędzie do triażu na OIOM-ie, które zbyt rzadko wskazywało czarnoskórych pacjentów do dodatkowej opieki, oraz badania kolonoskopowe, w których wykrywalność lekarzy spadała, gdy opierali się na AI.

Jeśli chodzi o prywatność, postulat pracy o audycie na poziomie jednostki trafia w system zbudowany do raportowania zbiorczego. Według przeglądu IntuitionLabs podsumowania decyzji FDA często pomijają kluczowe szczegóły skuteczności i bezpieczeństwa, a przestrzeganie standardów na świecie jest nierówne. Unijny AI Act, obowiązujący od 2024 roku, oznacza wiele systemów AI w ochronie zdrowia jako wysokiego ryzyka i dokłada obowiązki zgodności obok rozporządzenia o wyrobach medycznych. WHO opublikowała w 2023 roku zalecenia dotyczące przejrzystości, jakości danych i nadzoru nad cyklem życia.

MD+DI opublikował wywiad z Suzanne Levy Friedman, prawniczką zajmującą się urządzeniami medycznymi FDA. Powiedziała, że ostatni stan, jaki znała, to ponad tysiąc urządzeń z AI zatwierdzonych przez FDA. Żadne nie ma wbudowanego modelu uczącego się w sposób ciągły, stwierdziła. Niektórych jej nowszych klientów to szokuje. Jej nie.

„Przy całym entuzjazmie wobec innowacji ludzie zapominają, że FDA jest przede wszystkim agencją zdrowia publicznego” powiedziała Friedman MD+DI. „Oni nie próbują być trudni, próbują zapewnić, że pacjenci nie doznają krzywdy, a klinicyści mają właściwe informacje i nie dają się przypadkiem namówić do polegania na rzeczach, które mogą nie być zwalidowane”.

Friedman wskazała dwie luki, które istniały przed pracą o prywatności. Oprogramowanie zmienia się szybciej niż ramy pomyślane dla sprzętu, a dryf wydajności w rzeczywistych warunkach może dotknąć zwalidowane produkty, gdy zmieni się mieszanka pacjentów, jak podczas COVID. Obok tego stoi uprzedzenie algorytmiczne, a FDA prosi producentów o szczegółowe informacje o ich algorytmach, co niektórym wydaje się nadmierne.

Sąsiedni problem z dowodami klinicznymi

Prywatność to nie jedyny słaby punkt bazy dowodowej. The Register poinformował 15 kwietnia o badaniu w JAMA Network Open, kierowanym przez studenta medycyny Harvardu Aryę Rao, które sprawdziło 21 gotowych modeli AI na 29 standaryzowanych opisach przypadków klinicznych. Modele miały rację w 91 procentach przypadków przy diagnozie końcowej, gdy dostawały pełny zestaw informacji. Przy wczesnej diagnozie różnicowej, czyli na etapie, gdy klinicyści w warunkach niepewności włączają i wyłączają choroby, odsetek błędów przekraczał 80 procent.

„Każdy model, który testowaliśmy, zawiódł w zdecydowanej większości przypadków” powiedział Rao The Register. „To etap, na którym niepewność liczy się najbardziej, i tu te systemy są najsłabsze”.

Współautor Marc Succi, radiolog w Massachusetts General Hospital, ostrzegł, że pewność siebie bez rozumowania jest sama w sobie zagrożeniem, zwłaszcza dla zaniepokojonych pacjentów. Argumentował też, że wysokie wyniki przy diagnozie końcowej mogą dawać mylne poczucie bezpieczeństwa, bo prawdziwe rozumowanie kliniczne zaczyna się wcześniej, gdy niejednoznaczność jest największa. Rao zauważył, że surowsza miara błędów to nie jedyny sposób czytania danych: surowa dokładność wynosiła od 63 do 78 procent, co znaczy, że modele często miały częściową rację.

Obie prace wskazują w tym samym kierunku z różnych stron. Jedna pokazuje, że dane treningowe stojące za modelem diagnostycznym można przepytać, żeby zidentyfikować pacjentów w nich zawartych. Druga pokazuje, że te same modele, poproszone o rozumowanie tak jak klinicyści, zawodzą w punkcie, w którym stawka jest najwyższa. Obie powstały, gdy standardy audytu, które mają wyłapywać takie problemy, wciąż są w fazie projektowania.

Zastrzeżenie Knollego warto zachować. Powiedział The Register, że w wielu sytuacjach udane MIA oznacza niewielkie lub pomijalne naruszenie prywatności, mianowicie w modelach trenowanych na dużych, ogólnych populacjach obejmujących zarówno osoby zdrowe, jak i chore. Ryzyko skupia się tam, gdzie kohorty są wąskie, a wąskie kohorty to dokładnie to, czego specjalistyczna medyczna AI zwykle potrzebuje.

Komentarze 0

Źródła

4
  1. 01Medical diagnosis AIs can be tricked into telling whose data trained themEN
  2. 02LLMs fail in 8 out of 10 early differential diagnosis casesEN
  3. 03AI Medical Devices: 2025 Status, Regulation & ChallengesEN
  4. 04How Is FDA Regulating AI Medical Devices in 2026?EN

Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.

Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.

Renata Pawlak

Renata Pawlak

Nauka i zdrowie

Renata Pawlak zajmuje się w FLASH24 nauką i zdrowiem, opierając teksty na publikacjach recenzowanych, komunikatach instytucji i danych źródłowych, a nie na doniesieniach bez pokrycia. Przy każdej liczbie sprawdza metodologię badania, wielkość próby i jednostki, a wyniki porównuje z wcześniejszymi pracami na ten sam temat. Czeka na comiesięczne raporty GUS i NFZ, rozmawia z lekarzami oraz fizykami, a przed publikacją pyta autorów o ograniczenia ich wniosków. Prywatnie interesuje się fizyką materiałów i obserwuje niebo przez własny teleskop, co pomaga jej czytać prace z dziedzin ścisłych. Nie publikuje niczego, czego nie może potwierdzić w co najmniej dwóch niezależnych źródłach.

Redakcja →

Komentarze

0
  1. Brak komentarzy — bądź pierwszy.

Dodaj komentarz

Komentarze są widoczne publicznie. Nie publikujemy wulgaryzmów, spamu i treści reklamowych.