I modelli AI medici rivelano quali pazienti li hanno addestrati, secondo uno studio su Nature
Ricercatori tedeschi hanno dimostrato che i modelli di AI usati per aiutare a diagnosticare patologie possono essere interrogati per scoprire se i dati di un paziente specifico facevano parte del loro set di addestramento. A livello individuale, dicono, il successo è quasi perfetto.

La scoperta, pubblicata su Nature mercoledì 24 giugno e ripresa da The Register lo stesso giorno, riguarda sette dataset di AI medica composti da immagini, tracciati ECG e cartelle cliniche elettroniche generali. Il gruppo che l'ha condotta sostiene che gli attuali audit sulla privacy non colgono il rischio: misurano il successo degli attacchi in forma aggregata, non paziente per paziente.
La classe di attacco non è nuova. Nuovo è quanto bene funziona sui modelli medici.
Gli attacchi di inferenza sull'appartenenza (membership inference attack, MIA) interrogano un modello per capire se un determinato dato era nel suo set di addestramento. I modelli discriminativi, quelli usati per classificare dati e fare previsioni su nuovi input, sono particolarmente facili da sondare in questo modo, secondo i ricercatori. Nella loro analisi, i singoli pazienti presi di mira da questi attacchi potevano essere identificati con quello che l'articolo chiama un successo quasi perfetto. La cosa conta perché un'appartenenza confermata al set di addestramento è già di per sé una divulgazione. Se un modello è stato addestrato su una coorte di una clinica specializzata, dimostrare che la cartella di una persona sta in quella coorte può rivelare una diagnosi che quella persona non aveva scelto di condividere.
I pazienti sottorappresentati sono più facili da individuare
L'articolo rileva anche che i pazienti che sono outlier in un set di addestramento sono più facili da identificare rispetto agli altri. La razza, lo stato assicurativo, il sesso, il protocollo di imaging utilizzato e alcune condizioni patologiche possono tutti funzionare da outlier, secondo i ricercatori.
Moritz Knolle, che dirige la cattedra AI in Healthcare and Medicine alla Technical University of Munich ed è primo autore dell'articolo, ha descritto il compromesso senza giri di parole in uno scambio di email con The Register. "In generale, i rischi per la privacy derivanti dalle MIA diventano più gravi man mano che la coorte di addestramento di un modello diventa più specifica", ha detto. Ha portato un esempio: "Si possono immaginare ... scenari in cui l'appartenenza a un dataset di addestramento rivela che qualcuno ha una condizione genetica dormiente come la malattia di Huntington, una depressione, oppure che ha frequentato una specifica clinica specializzata."
I ricercatori segnalano un altro effetto che va nella direzione opposta. Dataset più grandi rendono le cartelle più facili da esporre, non più difficili, e l'articolo afferma che l'entità di questo spostamento nel rischio a livello di paziente non era stata misurata prima per modelli più grandi.
Che cosa serve davvero a un attaccante
Niente di tutto questo significa che un estraneo possa indicare un modello e tirarne fuori dei nomi. Una MIA richiede che l'attaccante possieda già un dato che vuole testare. Knolle lo ha confermato, osservando però che l'articolo restringe la quantità di dati necessaria.
"Per condurre una MIA un attaccante deve avere accesso a un dato target", ha detto a The Register. "Nel nostro articolo mostriamo che un attaccante con accesso parziale può comunque condurre con successo delle MIA."
Il meccanismo è la confidenza. Le AI mediche tendono a essere più sicure quando l'input era nel loro set di addestramento, quindi un attaccante inserisce i dati del paziente ottenuti, legge il livello di confidenza e deduce l'inclusione. Knolle ha detto che l'attaccante non ha bisogno di sapere a chi appartengono i dati. Tutti i dataset usati nello studio erano anonimizzati, ha aggiunto, il che non protegge da questo tipo di inferenza. "All'attaccante basterebbe avere accesso ai risultati degli esami del sangue di qualcuno, o a una parte di questi risultati" per dedurre l'inclusione, ha detto Knolle. Sulla provenienza di quei dati ha indicato l'esposizione ordinaria più che un'intrusione sofisticata: "Dato che i dati medici non sono sempre conservati in modo sicuro, non è impensabile che un attaccante possa ottenerne l'accesso, per esempio entrando senza autorizzazione nel database del proprio medico di base dopo che questi ha eseguito un esame del sangue di routine."
Raccomandazioni, e un'avvertenza
Le raccomandazioni del gruppo non hanno nulla di esotico. Chiedono che si usino framework di privacy differenziale dove il rischio lo giustifica, che gli standard di audit sulla privacy vengano riscritti per valutare il rischio individuale invece di quello aggregato, e che i dati di addestramento siano compilati in modo da rappresentare meglio i gruppi sottorappresentati invece di lasciarli come outlier.
Knolle ha inquadrato il suo obiettivo in modo ristretto. "Spero che la comunità dell'AI medica inizi a prendere sul serio i rischi per la privacy e che le tecniche di mitigazione del rischio vengano usate nelle situazioni in cui sono necessarie", ha detto. Ha anche respinto l'idea di trattare ogni attacco riuscito come uno scandalo. "Ci sono molte situazioni in cui una MIA riuscita rappresenta una violazione della privacy piccola o trascurabile", ha osservato, descrivendo modelli addestrati su popolazioni ampie e generali in cui compaiono sia individui sani sia malati.
Il contesto normativo in cui arriva l'articolo è affollato ma povero di dettagli. Il servizio di The Register rileva che gli standard di rendicontazione per gli audit sulla privacy dell'AI devono cambiare, un appello rivolto tanto ai revisori e alle riviste quanto ai fornitori. Nulla nell'articolo propone un nuovo regime di certificazione, e nessuna autorità di regolamentazione viene indicata come aver adottato le sue raccomandazioni.
C'è un secondo filone di ricerca, separato, che punta nella stessa direzione da un'angolazione diversa: se questi sistemi debbano proprio formulare giudizi diagnostici. Uno studio guidato dalla studentessa di medicina di Harvard Arya Rao, pubblicato su JAMA Network Open e ripreso da The Register il 15 aprile, ha testato 21 modelli di AI pronti all'uso su 29 vignette cliniche standardizzate. I modelli erano corretti nel 91 per cento dei casi quando ricevevano un portfolio completo di informazioni e veniva chiesta una diagnosi finale.
La diagnosi differenziale precoce, la fase in cui i clinici includono ed escludono condizioni soppesando l'incertezza, falliva in più di 8 casi su 10 secondo la definizione rigorosa dell'articolo. "Ogni modello che abbiamo testato ha fallito nella grande maggioranza dei casi", ha detto Rao a The Register. "È la fase in cui l'incertezza conta di più, ed è quella in cui questi sistemi sono più deboli."
Rao ha anche messo in guardia dal leggere il tasso di fallimento come un crollo totale. Misurati come accuratezza grezza per caso, i modelli ottenevano punteggi tra il 63 e il 78 per cento, il che secondo lei suggerisce che erano spesso parzialmente corretti. Il coautore Dr Marc Succi, radiologo al Massachusetts General Hospital, ha detto che punteggi più alti nella diagnosi finale non dovrebbero rassicurare nessuno. "Il ragionamento clinico reale inizia prima, quando l'ambiguità è massima, ed è esattamente lì che restano più deboli", ha detto a The Register.
Mettendo i due articoli uno accanto all'altro, la questione normativa si fa più netta. Un modello che può rivelare chi lo ha addestrato e che sbaglia comunque la maggior parte delle diagnosi differenziali precoci viene proposto per il triage di prima linea, e gli audit usati per autorizzarlo non misurano nessuno dei due rischi al livello in cui mordono.
Fonti
2- 01Medical diagnosis AIs can be tricked into telling whose data trained themEN
- 02LLMs fail in 8 out of 10 early differential diagnosis casesEN
Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.
I contenuti sono stati preparati dalla redazione con il supporto dell'IA.
Commenti
0- Nessun commento — sii il primo.