Gli audit sulla privacy dell'IA medica trascurano ciò che conta di più: i singoli pazienti
I modelli di IA diagnostica usati in medicina possono essere indotti a rivelare se i dati di un determinato paziente facevano parte del loro set di addestramento. I ricercatori tedeschi sostengono che il modo standard con cui si verifica la privacy di questi modelli non riesce a intercettarlo.

Mercoledì i ricercatori tedeschi hanno pubblicato un articolo su Nature: i modelli di IA medica discriminativi, quelli che classificano dati e formulano previsioni su nuovi input, sono "particolarmente suscettibili" agli attacchi di inferenza di appartenenza (membership inference attack, MIA). The Register ha riferito dei risultati il 24 giugno.
Un MIA funziona interrogando un modello per stabilire se un determinato dato è stato incluso nel suo set di addestramento. Nel caso dell'IA medica questo significa che un paziente i cui dati hanno contribuito ad addestrare il modello può essere esposto, con la conseguente fuga di dettagli sulla sua storia clinica e sulle diagnosi. Il gruppo ha analizzato sette dataset di IA medica, tra immagini, registrazioni ECG e cartelle cliniche elettroniche generali. Ha scoperto che i singoli pazienti presi di mira da questi attacchi potevano essere identificati con quello che descrivono come un "successo quasi perfetto dell'attacco".
Le metriche aggregate nascondono il problema
I ricercatori sostengono che questo tasso di successo sfugge al modo in cui oggi si valuta la sicurezza dei modelli di IA medica. "Il fatto che i MIA possano raggiungere tassi di successo quasi perfetti per singoli pazienti non è adeguatamente colto dal protocollo di valutazione standard, che misura il successo dell'attacco in forma aggregata sui vari record", scrivono. Da qui la conclusione: gli standard di rendicontazione per gli audit sulla privacy dell'IA devono cambiare. I pazienti sottorappresentati sono più facili da identificare rispetto agli altri. Secondo l'articolo, la razza, lo stato assicurativo, il sesso, il protocollo usato per l'imaging medico e determinate condizioni patologiche possono tutti funzionare come valori anomali. E questi valori anomali rendono più semplice l'inferenza di appartenenza.
"In generale, i rischi per la privacy derivanti dai MIA diventano più gravi man mano che la coorte di addestramento di un modello diventa più specifica", ha dichiarato a The Register via email Moritz Knolle, titolare della cattedra di IA in sanità e medicina alla Technical University of Munich e primo autore dell'articolo.
Knolle ha fatto esempi di cosa potrebbe esporre questa specificità. "Si possono immaginare ... scenari in cui l'appartenenza a un dataset di addestramento rivela che qualcuno ha una condizione genetica latente come la malattia di Huntington, una depressione, oppure che ha frequentato una specifica clinica specializzata", ha detto. Dataset più grandi non risolvono il problema. Secondo il resoconto del paper pubblicato da The Register, più grande è il dataset, più facile è esporre i record, e "l'entità di questo cambiamento nel rischio a livello di paziente era in precedenza sconosciuta" nei modelli più grandi.
Di cosa ha davvero bisogno un attaccante
Un MIA non è un attacco remoto senza input. Knolle ha confermato che per condurlo un attaccante deve avere accesso a un punto dati bersaglio. Ma la ricerca scalfisce anche un presupposto che in precedenza faceva sembrare questi attacchi poco pratici: non serve l'accesso a una cartella clinica completa. "Nel nostro articolo mostriamo che un attaccante con accesso parziale può comunque condurre con successo i MIA", ha detto Knolle a The Register.
L'attacco sfrutta la sicurezza del modello nelle proprie previsioni. Le IA mediche tendono a essere più sicure quando i dati di input facevano già parte del set di addestramento. Un attaccante fornisce al modello dati del paziente che ha ottenuto, controlla il livello di confidenza e ne deduce che il paziente è nei dati di addestramento.
"Chi conduce un MIA non ha bisogno di sapere a chi appartengono i dati con cui sta cercando di eseguirlo", ha detto Knolle. "In realtà, tutti i dataset che usiamo nel nostro studio erano anonimizzati". I dataset erano anonimizzati, i dati bersaglio no. L'articolo riporta che gli attacchi MIA erano in gran parte privi di errori a livello di singolo paziente: i livelli di confidenza sono dunque un segnale accurato del fatto che i dati di un determinato paziente si trovino in un set di addestramento. In pratica, ha detto Knolle, "all'attaccante basterebbe avere accesso ai risultati degli esami del sangue di qualcuno, o a una parte di questi risultati" per dedurre l'inclusione. Ottenere quei dati è l'ostacolo che resta, e secondo Knolle non è grande. "Dato che i dati medici non sono sempre conservati in modo sicuro, non è impensabile che un attaccante possa accedervi, per esempio ottenendo accesso non autorizzato al database del proprio medico di base dopo che questi ha eseguito un esame del sangue di routine", ha detto.
Raccomandazioni e un avvertimento
I ricercatori formulano diverse raccomandazioni. Una è l'uso di framework di privacy differenziale, progettati per garantire matematicamente che i dati di addestramento restino anonimi. Un'altra è la riforma degli standard di audit sulla privacy, affinché considerino il rischio a livello individuale e non solo quello aggregato. Una terza opzione, secondo Knolle, è compilare i dati di addestramento dell'IA medica in modo che i gruppi sottorappresentati siano meglio rappresentati. Knolle ha anche posto un limite a quanto un singolo MIA debba allarmare. "Ci sono molte situazioni in cui un MIA riuscito rappresenta una violazione della privacy piccola o trascurabile", ha osservato, citando i modelli di IA addestrati su popolazioni ampie e generali in cui sono rappresentati sia individui sani sia malati. Alla domanda su cosa spera ottenga la ricerca, Knolle ha detto di volere che la comunità dell'IA medica prenda sul serio i rischi per la privacy e utilizzi le tecniche di mitigazione del rischio dove sono necessarie.
L'altra modalità di fallimento
La privacy non è l'unica debolezza documentata nell'IA medica. In aprile, The Register ha riferito di uno studio pubblicato su JAMA Network Open che ha esaminato 21 modelli di IA leader disponibili sul mercato su 29 vignette cliniche standardizzate. I modelli se la cavavano bene nella diagnosi finale quando ricevevano un quadro completo delle informazioni mediche, con i modelli migliori corretti nel 91 percento dei casi. La diagnosi differenziale iniziale era un'altra storia. Lo studio ha rilevato un tasso di fallimento superiore all'80 percento in quella fase. "Ogni modello che abbiamo testato ha fallito nella grande maggioranza dei casi", ha detto a The Register la prima autrice Arya Rao, studentessa di medicina ad Harvard. "È la fase in cui l'incertezza conta di più, ed è quella in cui questi sistemi sono più deboli".
Rao ha aggiunto che la rigida metrica di fallimento non era l'unico modo di leggere i dati. L'accuratezza grezza, come proporzione di casi corretti, andava dal 63 al 78 percento, il che secondo lei suggerisce che i modelli erano spesso parzialmente corretti anche quando non riuscivano a produrre una diagnosi differenziale del tutto corretta. Il dottor Marc Succi, radiologo del Massachusetts General Hospital e coautore, ha detto che il tasso di successo più alto nella diagnosi finale non dovrebbe rassicurare. "Il vero ragionamento clinico inizia prima, quando l'ambiguità è massima, ed è esattamente lì che restano più deboli", ha detto a The Register, aggiungendo che una diagnosi differenziale sbagliata può portare a ritardi nelle cure, procedure non necessarie con complicazioni e costi elevati.
Entrambi gli articoli indicano lo stesso divario tra come viene misurata l'IA medica e come viene usata. Uno misura la privacy in forma aggregata mentre i singoli pazienti restano identificabili. L'altro valuta le risposte finali mentre la fase precedente del ragionamento, quella più incerta, resta inaffidabile.
Fonti
2- 01Medical diagnosis AIs can be tricked into telling whose data trained themEN
- 02LLMs fail in 8 out of 10 early differential diagnosis casesEN
Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.
I contenuti sono stati preparati dalla redazione con il supporto dell'IA.
Commenti
0- Nessun commento — sii il primo.