Przejdź do treści
Czas na świecieEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal o AI i technologiiwydarzenia · analizy · wywiady · tło techniczne

Szukaj
NA ŻYWO
›

Diagnoza medyczna z AI: regulatorzy gonią bazę dowodową, która wciąż się zmienia

Dwa najczęściej cytowane wyniki medycznej AI z ostatniego roku wskazują w przeciwne strony. MAI-DxO firmy Microsoft osiągnął 85,5% skuteczności na 304 złożonych przypadkach z NEJM, podczas gdy 21 lekarzy uzyskało 20%. Badanie w JAMA Network Open wykazało, że wiodące modele zawodzą we wczesnej diagnozie różnicowej w ponad 8 na 10 przypadków. Regulatorzy muszą teraz napisać przepisy uwzględniające obie liczby naraz.

ZdrowieAnalizaRenata PawlakOpublikowano: 28 września 20267 min czytaniaŹródła 4
Diagnoza medyczna z AI: regulatorzy gonią bazę dowodową, która wciąż się zmienia

Przepisy dotyczące medycznej AI powstają w warunkach ruchomego celu. Ta sama klasa modeli jest sprzedawana jako asystent diagnostyczny, testowana jako mistrz benchmarków i audytowana pod kątem ryzyka prywatności, często w odstępie kilku miesięcy.

Spójrzmy, jakie dowody musieliby rozważyć regulatorzy. Microsoft ogłosił swój AI Diagnostic Orchestrator (MAI-DxO) 30 czerwca 2025 roku, według GeekWire. Firma podała 85,5% poprawnych diagnoz na przypadkach zaczerpniętych z New England Journal of Medicine. Dla porównania 21 doświadczonych lekarzy z USA i Wielkiej Brytanii uzyskało 20%. WIRED, relacjonując ten sam eksperyment 1 lipca 2025 roku, podał skuteczność narzędzia na poziomie 80% wobec 20% lekarzy. Odnotował też 20% redukcję kosztów dzięki wybieraniu tańszych badań. Obie liczby opierają się na 304 niedawnych przypadkach z NEJM, zebranych w coś, co Microsoft nazywa Sequential Diagnosis Benchmark.

Różnica między 85,5% a 80% to nie kwestia zaokrąglenia. Regulator musi rozstrzygnąć tego rodzaju rozbieżność, zanim zapisze próg w prawie.

Samo ujęcie Microsoftu było ostrożne. GeekWire zauważył, że praca naukowa stojąca za narzędziem nie została jeszcze przyjęta przez czasopismo naukowe. Firma przyznała, że narzędzie wymaga testów na bardziej powszechnych schorzeniach. Potrzebna byłaby też walidacja kliniczna pod kątem bezpieczeństwa i skuteczności oraz zgoda regulatora przed wdrożeniem. Bay Gross, wiceprezes Microsoft AI ds. zdrowia, nazwał je "proof-of-concept" w poście na LinkedIn. Mustafa Suleyman, dyrektor generalny Microsoft AI, był mniej powściągliwy: "Robimy duży krok w stronę medycznej superinteligencji" napisał na LinkedIn.

Lekarzom nie wolno było korzystać z narzędzi

Niezależni badacze, cytowani przez WIRED, wskazali problem metodologiczny, na który każdy regulator natrafiłby od razu. David Sontag, naukowiec z MIT i współzałożyciel Layer Health, powiedział, że do wyników należy podchodzić ostrożnie. Lekarzy w badaniu poproszono o niekorzystanie z dodatkowych narzędzi. To może nie odzwierciedlać rzeczywistej praktyki. Eric Topol ze Scripps Research Institute nazwał raport imponującym, bo mierzy się ze złożonymi przypadkami. Stwierdził, że pokazanie, iż AI mogłaby teoretycznie obniżyć koszty, jest nowatorskie. Obaj zgodzili się, że kolejnym krokiem walidacji powinno być badanie kliniczne. Porównałoby ono system z prawdziwymi lekarzami leczącymi prawdziwych pacjentów.

Do takiego badania nie doszło. Microsoft nie zdecydował, czy komercjalizować technologię, podał WIRED. Jeden z menedżerów powiedział jednak, że firma mogłaby wbudować ją w Bing, by pomagać użytkownikom diagnozować schorzenia.

Druga połowa obrazu ma większe znaczenie dla każdego, kto pisze przepisy dotyczące pacjentów. Badanie opublikowane w JAMA Network Open w kwietniu 2026 roku przetestowało 21 wiodących gotowych modeli AI na 29 standaryzowanych opisach przypadków klinicznych. Pracą kierował Arya Rao, student medycyny na Harvardzie. Modele wypadły dobrze w diagnozie końcowej, poprawnej w 91% przypadków, gdy dostarczono im pełny zestaw informacji medycznych. Wczesna diagnoza różnicowa zawiodła w ponad 8 na 10 przypadków. To etap, na którym klinicyści wykluczają i potwierdzają schorzenia w warunkach niepewności.

"Każdy testowany przez nas model zawiódł w zdecydowanej większości przypadków" powiedział Rao The Register. "To etap, na którym niepewność ma największe znaczenie, i tam te systemy są najsłabsze."

Rao powiedział też The Register, że porażka w badaniu nie oznaczała, iż AI całkowicie się myliła. Oznaczała tylko, że system nie dał w pełni poprawnej odpowiedzi. Mierzona jako surowy odsetek poprawnych odpowiedzi, modele uzyskały od 63% do 78%. To znacznie lepsza liczba niż nagłówkowy wskaźnik porażek. Ten niuans zwykle znika, zanim statystyka trafi na konsultacje dotyczące regulacji.

Dr Marc Succi, radiolog z Massachusetts General Hospital i współautor, powiedział The Register, że wyższe wskaźniki sukcesu w diagnozie końcowej nie powinny uspokajać. "Prawdziwe rozumowanie kliniczne zaczyna się wcześniej, gdy niepewność jest największa, i dokładnie tam pozostają najsłabsze" stwierdził. "Nawet jeśli w końcu dojdziesz do właściwej odpowiedzi, błędna diagnoza różnicowa może oznaczać opóźnienia w leczeniu, niepotrzebne procedury z powikłaniami, wysokie koszty i wiele więcej."

Audyty prywatności mierzą niewłaściwą rzecz

Trzeci wątek, który regulatorzy wolniej włączają do obrazu, dotyczy tego, co zdradzają same dane treningowe. Niemieccy badacze donieśli w pracy w Nature opublikowanej w środę 24 czerwca 2026 roku, że dyskryminacyjne modele medycznej AI są podatne na ataki wnioskowania o przynależności do zbioru. To zapytania mające ustalić, czy rekord konkretnego pacjenta znajdował się w zbiorze treningowym. The Register podał, że zespół przeanalizował siedem zbiorów danych medycznej AI obejmujących obrazy, zapisy EKG i ogólne elektroniczne dokumentacje zdrowotne. Odkryli, że można zidentyfikować poszczególnych pacjentów z tym, co badacze nazwali "niemal doskonałą skutecznością ataku".

Wynik przeczy obecnej praktyce audytowej. "Fakt, że ataki wnioskowania o przynależności mogą osiągać niemal doskonałe wskaźniki sukcesu dla poszczególnych pacjentów, nie jest odpowiednio ujęty w standardowym protokole oceny, który mierzy skuteczność ataku zbiorczo, w poprzek rekordów" napisali badacze. Ich wniosek jest taki, że standardy raportowania audytów prywatności AI muszą się zmienić. Tam, gdzie to konieczne, należy stosować ramy prywatności różnicowej. Te ramy mają dawać matematyczne gwarancje, że dane treningowe pozostają anonimowe.

Pacjentów niedoreprezentowanych łatwiej ujawnić niż innych. Rasa, status ubezpieczenia, płeć, stosowany protokół obrazowania i niektóre stany chorobowe mogą działać jako wartości odstające, które czynią jednostkę identyfikowalną, według pracy. "Ogólnie rzecz biorąc, ryzyko prywatności związane z atakami wnioskowania o przynależności rośnie wraz ze zawężaniem kohorty treningowej modelu" powiedział The Register Moritz Knolle. Kieruje katedrą AI w Ochronie Zdrowia i Medycynie na Uniwersytecie Technicznym w Monachium i jest pierwszym autorem. Wspomniał o możliwości, że przynależność do zbioru treningowego zdradzi, iż ktoś ma uśpioną chorobę genetyczną, taką jak choroba Huntingtona. Mogłaby też ujawnić, że dana osoba uczęszczała do specjalistycznej kliniki leczenia.

Knolle jasno określił ograniczenia ataku. Napastnik potrzebuje dostępu do docelowego punktu danych, choć praca pokazuje, że częściowy dostęp wystarczy. To przeczy temu, co wcześniej sądzono. Zbiory danych użyte w badaniu były anonimizowane. "Napastnik potrzebowałby po prostu dostępu do czyichś wyników badań krwi lub ich części", by wywnioskować przynależność, powiedział.

Co to oznacza dla przepisów

Z tego wynikają trzy praktyczne problemy dla każdego, kto pisze przepisy o medycznej AI.

  • Benchmarki nie są dowodami klinicznymi. Liczby Microsoftu, 85,5% i 80%, pochodzą z retrospektywnych przypadków NEJM, przy czym lekarzom zabroniono konsultacji z kolegami lub korzystania z zasobów. Zarówno Sontag, jak i Topol powiedzieli WIRED, że kolejnym wymaganym krokiem jest badanie kliniczne.
  • Nagłówkowa skuteczność ukrywa sposób porażki. Model może osiągnąć 91% w diagnozie końcowej i nadal zawodzić we wczesnej diagnozie różnicowej w ponad 80% przypadków, jak ustalił zespół Rao. Przepisy oparte na jednej liczbie skuteczności pominęłyby dokładnie ten etap, na którym według badania powstaje szkoda.
  • Audyt prywatności mierzy niewłaściwą jednostkę. Zbiorcze wskaźniki skuteczności ataku, obecny standard, nie ujmują niemal doskonałego sukcesu wobec jednostek, według pracy w Nature.

Jest też kwestia, kto przeprowadza testy. Microsoft zbudował benchmark, z wybranych przez siebie przypadków. Praca nie przeszła recenzji naukowej w momencie ogłoszenia. Badanie w JAMA Network Open testowało modele gotowe, bez udziału dostawców, i dało znacznie gorszy wynik. Praca o prywatności w Nature przetestowała siedem zbiorów danych i znalazła lukę w audycie.

Nic z tego nie oznacza, że medycznej AI nie da się regulować. Oznacza, że liczby, które trafią do regulatorów, mają przypisane pochodzenie. Pochodzenie ma takie samo znaczenie jak sama liczba.

Cel, który Knolle podał, był skromny. "Mam nadzieję, że społeczność medycznej AI zacznie poważnie traktować ryzyko prywatności i że techniki jego ograniczania będą stosowane tam, gdzie są konieczne" powiedział The Register. Zauważył też, że wiele udanych ataków wnioskowania o przynależności stanowi niewielkie lub pomijalne naruszenie prywatności. Dotyczy to przypadków, gdy modele trenowane są na dużych, ogólnych populacjach obejmujących zarówno osoby zdrowe, jak i chore. Ryzyko rośnie w miarę zawężania kohorty. W medycynie oznacza to często najciężej chorych i najrzadszych pacjentów.

Suleyman powiedział, że firma spędzi kolejne dwa lata, udowadniając te systemy w realnym świecie. To ta praca, a nie benchmark, będzie tym, co każdy poważny proces stanowienia przepisów będzie musiał ostatecznie ocenić.

Komentarze 0

Źródła

4
  1. 01Medical diagnosis AIs can be tricked into telling whose data trained themEN
  2. 02Microsoft AI tool outperforms doctors in diagnosing complex medical casesEN
  3. 03Microsoft Says Its New AI System Diagnosed Patients 4 Times More Accurately Than Human DoctorsEN
  4. 04LLMs fail in 8 out of 10 early differential diagnosis casesEN

Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.

Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.

Renata Pawlak

Renata Pawlak

Nauka i zdrowie

Renata Pawlak zajmuje się w FLASH24 nauką i zdrowiem, opierając teksty na publikacjach recenzowanych, komunikatach instytucji i danych źródłowych, a nie na doniesieniach bez pokrycia. Przy każdej liczbie sprawdza metodologię badania, wielkość próby i jednostki, a wyniki porównuje z wcześniejszymi pracami na ten sam temat. Czeka na comiesięczne raporty GUS i NFZ, rozmawia z lekarzami oraz fizykami, a przed publikacją pyta autorów o ograniczenia ich wniosków. Prywatnie interesuje się fizyką materiałów i obserwuje niebo przez własny teleskop, co pomaga jej czytać prace z dziedzin ścisłych. Nie publikuje niczego, czego nie może potwierdzić w co najmniej dwóch niezależnych źródłach.

Redakcja →

Komentarze

0
  1. Brak komentarzy — bądź pierwszy.

Dodaj komentarz

Komentarze są widoczne publicznie. Nie publikujemy wulgaryzmów, spamu i treści reklamowych.