Vai al contenuto
Ora nel mondoEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portale su IA e tecnologiaeventi · analisi · interviste · approfondimenti tecnici

Cerca
LIVE
›

L'AI medica può identificare i pazienti su cui è stata addestrata, secondo i ricercatori

I modelli di AI per la diagnosi medica possono essere indotti a rivelare se i dati di un determinato paziente sono stati usati per addestrarli. Lo hanno riferito ricercatori tedeschi in un articolo pubblicato su Nature mercoledì, con un successo quasi totale sui singoli pazienti. La scoperta arriva mentre la FDA, l'UE e l'OMS stanno ancora scrivendo le regole per l'audit di questi dispositivi.

SaluteAnalisiSara GalloPubblicato: 27 settembre 20266 min di letturaFonti 4
L'AI medica può identificare i pazienti su cui è stata addestrata, secondo i ricercatori

L'attacco si chiama membership inference attack, o MIA. The Register ha riferito il 24 giugno che il team ha esaminato sette dataset di AI medica, che coprono immagini, registrazioni ECG e cartelle cliniche elettroniche generali. I ricercatori hanno scoperto che i singoli pazienti presi di mira da questi attacchi possono essere identificati con quello che definiscono un successo dell'attacco quasi totale. Quel dato non è rilevato dal protocollo di valutazione standard, si legge nell'articolo, perché quel protocollo misura il successo dell'attacco in forma aggregata sui vari record.

Le AI mediche sono più sicure quando i dati in ingresso fanno già parte del loro set di addestramento. Un attaccante fornisce al modello i dati di un paziente, legge il livello di sicurezza e conclude che il paziente faceva parte della coorte di addestramento.

Moritz Knolle, ricercatore dell'Università Tecnica di Monaco e primo autore dell'articolo, ha detto a The Register che un attaccante non ha bisogno di sapere a chi appartengono i dati. "In realtà, tutti i dataset che usiamo nel nostro studio erano anonimizzati", ha detto. Basta un accesso parziale. "L'attaccante avrebbe semplicemente bisogno di accedere ai risultati delle analisi del sangue di qualcuno, o a una parte di questi risultati."

I casi anomali sono i più facili da individuare

Lo schema di chi viene esposto è scomodo. I gruppi sottorappresentati nei dati di addestramento medico sono più facili da identificare rispetto ai pazienti i cui record si confondono nella massa. L'articolo elenca razza, stato assicurativo, sesso, il protocollo di imaging usato e alcune condizioni patologiche come categorie che possono funzionare da casi anomali. La sintesi di Knolle a The Register: "In generale, i rischi per la privacy derivanti dalle MIA diventano più gravi man mano che la coorte di addestramento di un modello diventa più specifica."

Ha portato l'esempio di una coorte di addestramento che rivela una condizione genetica latente come la malattia di Huntington, o la depressione, o la frequenza di una clinica specializzata. In altre parole, l'appartenenza stessa fa trapelare la diagnosi. L'articolo rileva anche che più grande è il dataset, più facile è esporre i record, e che l'entità di questo spostamento del rischio a livello di singolo paziente nei modelli più grandi non era nota prima.

L'attaccante ha bisogno di alcuni dati medici sulle persone che vuole identificare. Le violazioni dei dati sanitari sono abbastanza frequenti perché questa non sia una soglia alta. Knolle ha evocato lo scenario di un accesso non autorizzato al database di un medico di base dopo un esame del sangue di routine.

Il suo obiettivo dichiarato è ristretto: che la comunità dell'AI medica prenda sul serio i rischi per la privacy e applichi le misure di mitigazione dove servono. L'articolo raccomanda framework di privacy differenziale, progettati per dare una garanzia matematica che i dati di addestramento restino anonimi, e una riscrittura degli standard di audit della privacy per misurare il rischio a livello individuale invece che aggregato. Compilare i dati di addestramento in modo che i gruppi sottorappresentati siano meglio rappresentati è un'altra opzione che ha citato.

Le autorità di regolamentazione stanno ancora recuperando le basi

Il tutto arriva in un quadro normativo che si muove in modo disomogeneo. IntuitionLabs, in un rapporto aggiornato il 18 agosto, stima che la FDA abbia autorizzato circa 950 dispositivi di AI e machine learning entro la metà del 2024, con circa 100 nuove autorizzazioni all'anno. Gli analisti di mercato citati nello stesso rapporto valutavano i dispositivi medici abilitati all'AI 13.700.000.000 di dollari nel 2024 e prevedevano più di 255.000.000.000 di dollari entro il 2033. La radiologia domina le autorizzazioni, mentre cardiologia, neurologia, anestesiologia e oftalmologia sono in espansione.

Lo stesso rapporto nota che le revisioni sistematiche trovano solo una piccolissima parte dei dispositivi AI autorizzati supportata da studi randomizzati o da dati sugli esiti dei pazienti, e che i malfunzionamenti dei dispositivi sono stati collegati a lesioni e, in un caso segnalato, a un decesso. Cita uno strumento di triage per terapia intensiva che identificava in misura insufficiente i pazienti neri da destinare a cure aggiuntive, e studi sulla colonscopia in cui i tassi di rilevamento dei medici calavano quando si affidavano all'AI.

Proprio sulla privacy, la richiesta dell'articolo di un audit a livello individuale si scontra con un sistema costruito per la rendicontazione aggregata. I riepiloghi delle decisioni della FDA spesso omettono dettagli critici su efficacia e sicurezza, secondo la revisione di IntuitionLabs, e l'adesione agli standard a livello globale è disomogenea. L'AI Act dell'UE, in vigore dal 2024, classifica molti sistemi di AI sanitaria come ad alto rischio e aggiunge lavoro di conformità oltre al regolamento sui dispositivi medici. L'OMS ha pubblicato raccomandazioni nel 2023 che coprono trasparenza, qualità dei dati e supervisione del ciclo di vita.

MD+DI ha pubblicato un'intervista con Suzanne Levy Friedman, avvocato della FDA esperta di dispositivi medici, secondo cui l'ultimo conteggio in suo possesso era di oltre mille dispositivi abilitati all'AI autorizzati dalla FDA. Nessuno di essi integra un modello che apprende in modo continuo, ha detto. Alcuni dei suoi clienti più recenti ne sono scioccati. Lei no.

"Con tutto l'entusiasmo per l'innovazione, le persone dimenticano che prima di tutto la FDA è un'agenzia di salute pubblica", ha detto Friedman a MD+DI. "Non stanno cercando di essere difficili, cercano di assicurarsi che i pazienti non vengano danneggiati e che i medici abbiano le informazioni giuste e non siano inavvertitamente indotti a fare affidamento su cose che potrebbero non essere validate."

Friedman ha segnalato due lacune che precedono l'articolo sulla privacy. Il software si evolve più rapidamente del quadro normativo pensato per l'hardware, e la deriva delle prestazioni nel mondo reale può colpire prodotti validati quando cambia la composizione dei pazienti, come è accaduto durante il COVID. Accanto a questo c'è il bias algoritmico, e la FDA chiede ai produttori dettagli granulari sui loro algoritmi, che alcuni giudicano eccessivi.

Il problema delle prove cliniche qui accanto

La privacy non è l'unico punto debole della base di prove. The Register ha riferito il 15 aprile di uno studio su JAMA Network Open, guidato dallo studente di medicina di Harvard Arya Rao, che ha testato 21 modelli di AI pronti all'uso su 29 vignette cliniche standardizzate. I modelli erano corretti nel 91 percento dei casi sulla diagnosi finale quando ricevevano un portfolio completo di informazioni. Sulla diagnosi differenziale precoce, la fase in cui i medici includono ed escludono condizioni in condizioni di incertezza, il tasso di fallimento superava l'80 percento.

"Ogni modello che abbiamo testato ha fallito sulla grande maggioranza dei casi", ha detto Rao a The Register. "È la fase in cui l'incertezza conta di più, ed è quella in cui questi sistemi sono più deboli."

Il coautore Marc Succi, radiologo al Massachusetts General Hospital, ha avvertito che la sicurezza senza ragionamento è di per sé un pericolo, in particolare per i pazienti ansiosi. Ha anche sostenuto che punteggi elevati sulla diagnosi finale possono creare un senso di sicurezza fuorviante, perché il ragionamento clinico reale inizia prima, quando l'ambiguità è massima. Rao ha osservato che la metrica di fallimento più severa non è l'unico modo di leggere i dati: l'accuratezza grezza andava dal 63 al 78 percento, il che significa che i modelli avevano spesso parzialmente ragione.

I due articoli puntano nella stessa direzione da angolazioni diverse. Uno mostra che i dati di addestramento dietro un modello diagnostico possono essere interrogati per identificare i pazienti che contengono. L'altro mostra che gli stessi modelli, chiamati a ragionare come fanno i medici, cedono proprio nel punto in cui la posta in gioco è più alta. Entrambi sono arrivati mentre gli standard di audit pensati per intercettare questi problemi sono ancora in fase di stesura.

Vale la pena tenere presente l'avvertenza di Knolle. Ha detto a The Register che ci sono molte situazioni in cui una MIA riuscita rappresenta una violazione della privacy piccola o trascurabile, cioè modelli addestrati su popolazioni ampie e generali che includono sia individui sani sia malati. Il rischio si concentra dove le coorti sono ristrette, e le coorti ristrette sono esattamente ciò di cui l'AI medica specialistica tende ad avere bisogno.

Commenti 0

Fonti

4
  1. 01Medical diagnosis AIs can be tricked into telling whose data trained themEN
  2. 02LLMs fail in 8 out of 10 early differential diagnosis casesEN
  3. 03AI Medical Devices: 2025 Status, Regulation & ChallengesEN
  4. 04How Is FDA Regulating AI Medical Devices in 2026?EN

Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.

I contenuti sono stati preparati dalla redazione con il supporto dell'IA.

Sara Gallo

Sara Gallo

Scienza e salute

Sara Gallo scrive di scienza e salute per FLASH24, partendo da studi originali, comunicati di enti di ricerca e dati di agenzie sanitarie, senza fermarsi ai titoli. Per ogni articolo controlla campioni, intervalli di confidenza e conflitti di interesse, confrontando i numeri con le serie storiche di ISS ed Eurostat. Segue le revisioni sistematiche in uscita e attende i briefing del ministero della Salute, parlando con ricercatori e clinici prima di pubblicare. La sua formazione in fisica dei materiali e il telescopio che usa nel tempo libero si ritrovano nella cura con cui legge misure e immagini. Non pubblica stime senza fonte primaria.

Redazione →

Commenti

0
  1. Nessun commento — sii il primo.

Scrivi un commento

I commenti sono pubblici. Non pubblichiamo insulti, spam né pubblicità.