Gli audit sulla privacy dell'AI medica trascurano ciò che conta di più: i singoli pazienti

Mercoledì i ricercatori tedeschi hanno pubblicato un articolo su Nature. I modelli di AI medica discriminativi, quelli che classificano dati e fanno previsioni su input nuovi, sono "particolarmente suscettibili" agli attacchi di inferenza di appartenenza (membership inference attack, MIA). The Register ha riportato i risultati il 24 giugno.

Un MIA funziona interrogando un modello per stabilire se un determinato dato è stato incluso nel suo set di addestramento. Nel caso dell'AI medica questo significa che un paziente i cui referti hanno contribuito ad addestrare il modello può essere esposto, con la conseguente fuga di dettagli sulla sua storia clinica e sulle diagnosi. Il gruppo ha analizzato sette dataset di AI medica che coprono immagini, tracciati ECG e cartelle cliniche elettroniche generali. I singoli pazienti presi di mira da questi attacchi potevano essere identificati con quello che i ricercatori descrivono come un "successo quasi perfetto dell'attacco".

Le metriche aggregate nascondono il problema

I ricercatori sostengono che questo tasso di successo non viene colto dal modo in cui i modelli di AI medica sono attualmente valutati sul piano della sicurezza. "Il fatto che i MIA possano raggiungere tassi di successo quasi perfetti per singoli pazienti non è adeguatamente colto dal protocollo di valutazione standard, che misura il successo dell'attacco in forma aggregata sui referti", hanno scritto. Da qui la conclusione: gli standard di rendicontazione per gli audit sulla privacy dell'AI devono cambiare. I pazienti sottorappresentati sono più facili da identificare rispetto agli altri. Razza, stato assicurativo, sesso, il protocollo usato per eseguire l'imaging medico e alcune condizioni patologiche possono tutti funzionare come outlier, secondo l'articolo. Questi outlier rendono più semplice l'inferenza di appartenenza.

"In generale, i rischi per la privacy derivanti dai MIA diventano più gravi man mano che la coorte di addestramento di un modello diventa più specifica", ha dichiarato a The Register via email Moritz Knolle, titolare della cattedra di AI in Healthcare and Medicine alla Technical University of Munich e primo autore dell'articolo.

Knolle ha fatto esempi di ciò che questa specificità potrebbe esporre. "Si possono immaginare ... scenari in cui l'appartenenza a un set di addestramento rivela che qualcuno ha una condizione genetica dormiente come la malattia di Huntington, una depressione, oppure che ha frequentato una specifica clinica specializzata", ha detto. Dataset più grandi non risolvono il problema. Secondo il resoconto che The Register ha fatto dell'articolo, più grande è il dataset, più facile è esporre i referti, e "l'entità di questo cambiamento nel rischio a livello di paziente era precedentemente sconosciuta" nei modelli più grandi.

Che cosa serve davvero a un attaccante

Un MIA non è un attacco remoto e senza input. Knolle ha confermato che per condurlo un attaccante ha bisogno di accedere a un dato target. Ma la ricerca scalfisce anche un'assunzione che in precedenza faceva sembrare questi attacchi poco pratici: non è richiesto l'accesso a una cartella clinica completa. "Nel nostro articolo mostriamo che un attaccante con accesso parziale può comunque condurre con successo i MIA", ha detto Knolle a The Register.

L'attacco sfrutta la sicurezza del modello. Le AI mediche tendono a essere più sicure delle loro previsioni quando i dati di input hanno già fatto parte del loro set di addestramento. Un attaccante fornisce al modello i dati del paziente che ha ottenuto, controlla il livello di sicurezza e ne deduce che il paziente è nei dati di addestramento.

"Un attaccante che conduce un MIA non ha bisogno di sapere a chi appartengono i dati con cui cerca di condurre il MIA", ha detto Knolle. "Anzi, tutti i dataset che usiamo nel nostro studio erano anonimizzati". I dataset erano anonimizzati. I dati target no. L'articolo riporta che gli attacchi MIA erano in gran parte privi di errori a livello del singolo paziente: i livelli di sicurezza sono dunque un segnale accurato del fatto che i dati di un dato paziente si trovino in un set di addestramento. In pratica, ha detto Knolle, "l'attaccante avrebbe semplicemente bisogno di accedere ai risultati degli esami del sangue di qualcuno, o a una parte di questi risultati" per dedurne l'inclusione. Ottenere quei dati è l'ostacolo che resta, e secondo Knolle non è grande. "Dato che i dati medici non sono sempre conservati in modo sicuro, non è impensabile che un attaccante possa accedervi, per esempio ottenendo accesso non autorizzato al database del vostro medico di base dopo che ha eseguito un esame del sangue di routine", ha detto.

Raccomandazioni e un'avvertenza

I ricercatori formulano diverse raccomandazioni. Una è l'uso di framework di privacy differenziale, progettati per garantire matematicamente che i dati di addestramento restino anonimi. Un'altra è la riforma degli standard di audit sulla privacy, perché considerino il rischio a livello individuale e non solo il rischio di privacy aggregato. Una terza opzione, ha detto Knolle, è compilare i dati di addestramento dell'AI medica in modo che i gruppi sottorappresentati siano meglio rappresentati. Knolle ha anche offerto un limite a quanto un singolo MIA debba allarmare. "Ci sono molte situazioni in cui un MIA riuscito rappresenta una violazione della privacy piccola o trascurabile", ha osservato, indicando i modelli di AI addestrati su popolazioni ampie e generali in cui sono rappresentati sia individui sani sia malati. Alla domanda su cosa speri di ottenere con la ricerca, Knolle ha detto di volere che la comunità dell'AI medica prenda sul serio i rischi per la privacy e usi le tecniche di mitigazione del rischio dove sono necessarie.

L'altro modo di fallire

La privacy non è l'unica debolezza documentata nell'AI medica. In aprile The Register ha riportato uno studio pubblicato su JAMA Network Open che ha esaminato 21 tra i principali modelli di AI pronti all'uso su 29 vignette cliniche standardizzate. I modelli andavano bene nella diagnosi finale quando ricevevano un portfolio completo di informazioni mediche, con i modelli migliori corretti nel 91 per cento dei casi. La diagnosi differenziale iniziale è stata un'altra storia. Lo studio ha rilevato un tasso di fallimento superiore all'80 per cento in quella fase. "Ogni modello che abbiamo testato ha fallito nella grande maggioranza dei casi", ha detto a The Register la prima autrice Arya Rao, studentessa di medicina ad Harvard. "È la fase in cui l'incertezza conta di più, ed è quella in cui questi sistemi sono più deboli".

Rao ha aggiunto che la metrica di fallimento rigorosa non era l'unico modo di leggere i dati. L'accuratezza grezza, come proporzione di casi corretti, andava dal 63 al 78 per cento, il che secondo lei suggerisce che i modelli erano spesso parzialmente corretti anche quando non riuscivano a produrre una diagnosi differenziale del tutto corretta. Il dottor Marc Succi, radiologo del Massachusetts General Hospital e coautore, ha detto che il tasso di successo più alto nella diagnosi finale non dovrebbe rassicurare. "Il vero ragionamento clinico inizia prima, quando l'ambiguità è massima, ed è esattamente lì che restano più deboli", ha detto a The Register, aggiungendo che una diagnosi differenziale sbagliata può portare a ritardi nelle cure, procedure inutili con complicazioni e costi elevati.

Entrambi gli articoli indicano lo stesso divario tra come l'AI medica viene misurata e come viene usata. Uno misura la privacy in forma aggregata mentre i singoli pazienti restano identificabili. L'altro valuta le risposte finali mentre la fase precedente del ragionamento, quella più incerta, resta inaffidabile.