Le IA mediche possono rivelare su quali dati sono state addestrate, secondo un articolo su Nature
I modelli di IA medica discriminativi possono essere indotti a confermare se la cartella di un paziente specifico faceva parte dei loro dati di addestramento. Lo riportano i ricercatori tedeschi in un articolo su Nature pubblicato il 24 giugno, con un tasso di successo quasi totale sui singoli pazienti.

La scoperta, riportata per la prima volta da The Register il 24 giugno, conta meno per ciò che dimostra in astratto sulla sicurezza dei modelli e più per ciò che implica sulle promesse di riservatezza che ospedali, assicurazioni e fornitori di IA hanno fatto ai pazienti. Se si può confermare l'appartenenza a un set di addestramento, quel set diventa un canale di divulgazione. Ed è questo il punto scomodo.
Moritz Knolle, che dirige l'area IA in sanità e medicina all'Università Tecnica di Monaco e ha guidato lo studio, ha detto a The Register che l'esposizione non è ipotetica. "Si possono immaginare scenari in cui l'appartenenza a un set di addestramento rivela che qualcuno ha una condizione genetica dormiente come la malattia di Huntington, una depressione, oppure che si è rivolto a un ambulatorio specialistico specifico", ha detto. Lo scenario non è esotico. È il lavoro ordinario della tenuta delle cartelle cliniche.
La classe di attacco non è nuova. Gli attacchi di inferenza sull'appartenenza, o MIA, sono studiati nella letteratura di machine learning da anni, e la forma generale della tecnica è ben nota: un modello tende a essere più sicuro sugli input che ha già visto, quindi un attaccante che può interrogare il modello e leggerne i punteggi di confidenza può dedurre l'inclusione. L'articolo su Nature aggiunge scala e specificità clinica. Il gruppo ha testato sette dataset di IA medica che coprono immagini, elettrocardiogrammi e cartelle cliniche elettroniche generali, e ha scoperto che i singoli pazienti potevano essere identificati con quello che descrivono come un successo quasi totale dell'attacco. Non è una curiosità da laboratorio. È una misura di come questi modelli si comportano quando qualcuno pone loro la domanda giusta.
Perché le verifiche aggregate non lo rilevano
Il risultato contrasta con il modo in cui questi modelli vengono valutati oggi. Le verifiche sulla riservatezza di solito misurano il successo dell'attacco in forma aggregata su un dataset, e ne esce una media rassicurante. L'articolo sostiene che questa è l'unità di analisi sbagliata. "Il fatto che le MIA possano raggiungere tassi di successo quasi totali sui singoli pazienti non è colto adeguatamente dal protocollo di valutazione standard, che misura il successo dell'attacco in forma aggregata sulle cartelle", scrivono i ricercatori. La loro conclusione è che gli standard di rendicontazione per le verifiche sulla riservatezza delle IA devono cambiare.
C'è un secondo risultato che mal si concilia con il primo. I pazienti sottorappresentati in una coorte di addestramento sono più facili da identificare degli altri, perché i loro dati spiccano. Etnia, copertura assicurativa, sesso, il protocollo di imaging usato e certi stati di malattia possono tutti funzionare da valori anomali. La sintesi di Knolle è netta: "In generale, i rischi per la riservatezza derivanti dalle MIA diventano più gravi man mano che la coorte di addestramento di un modello diventa più specifica".
Secondo l'articolo, più grande è il dataset, più facile è esporre le singole cartelle, e i ricercatori notano che l'entità di questo cambiamento nel rischio a livello di paziente nei modelli più grandi era prima sconosciuta. È un risultato controintuitivo per chi dà per scontato che la scala porti anonimato. Nell'imaging medico e nella genomica spesso accade il contrario.
Di cosa ha davvero bisogno un attaccante
Qui il quadro pratico si complica, e contano le cautele degli stessi autori. Condurre una MIA contro un modello medico richiede che l'attaccante possieda già alcuni dati della persona che vuole identificare. Knolle lo ha confermato. "Per condurre una MIA un attaccante deve avere accesso a un punto dati bersaglio", ha detto a The Register, aggiungendo però che l'articolo mostra come non serva una cartella clinica completa, contrariamente a quanto si supponeva prima. "Nel nostro articolo dimostriamo che un attaccante con accesso parziale può comunque condurre con successo le MIA".
All'attaccante basterebbe avere accesso ai risultati degli esami del sangue di qualcuno, o a una parte di questi risultati.
Questo abbassa di molto l'asticella. L'attacco funziona fornendo al modello la cartella parziale, leggendo il livello di confidenza e deducendo che il paziente è nel set di addestramento. I dataset usati nello studio erano anonimizzati, e Knolle sottolinea che l'attaccante non ha bisogno di sapere a chi appartengono i dati per eseguire l'interrogazione. Il collegamento tra dati di addestramento anonimi e una persona identificata deve venire da altrove, ma quel altrove è spesso una violazione di dati.
Le violazioni di dati sanitari sono abbastanza frequenti da rendere la questione non teorica. Knolle delinea lo scenario senza giri di parole: un attaccante ottiene accesso non autorizzato al database di un medico di base dopo un esame del sangue di routine, e da lì può sondare il modello.
Alla domanda su cosa voglia ottenere dalla ricerca, Knolle ha detto di sperare che la comunità dell'IA medica prenda sul serio i rischi per la riservatezza e applichi le tecniche di mitigazione dove servono. L'articolo raccomanda quadri di privacy differenziale, progettati per dare garanzie matematiche che i dati di addestramento restino anonimi, e uno standard di verifica rivisto che riporti il rischio a livello individuale invece che aggregato. Una terza opzione, citata da Knolle, è compilare i dati di addestramento in modo che i gruppi sottorappresentati siano meglio rappresentati, riducendo l'effetto di valore anomalo che li rende facili da identificare.
Ha anche messo in guardia dal trattare ogni MIA riuscita come una violazione grave. "Ci sono molte situazioni in cui una MIA riuscita rappresenta una violazione della riservatezza piccola o trascurabile", ha osservato, indicando i modelli addestrati su popolazioni ampie e generali, dove sono rappresentati sia individui sani sia malati.
Il vuoto normativo
Rispetto al quadro normativo attuale, l'articolo si colloca in uno spazio che le regole finora hanno faticato a riempire. Le verifiche sulla riservatezza per l'IA medica tendono a concentrarsi sulla liceità della raccolta dei dati e sulla rimozione degli identificatori, non sulla possibilità di interrogare il modello stesso per ricostruire l'appartenenza. La privacy differenziale esiste come tecnica, ma non è richiesta in modo uniforme, e l'argomento dell'articolo è in sostanza che il regime di valutazione sta misurando la cosa sbagliata.
Il vuoto non è solo europeo. Le autorità di diverse giurisdizioni stanno lavorando su come classificare e sorvegliare gli strumenti di IA usati in ambito clinico, con proposte che vanno dai regimi di approvazione pre-commercializzazione a orientamenti più leggeri per le applicazioni a rischio più basso. Nessuno dei quadri in circolazione, per quanto riguarda gli autori, affronta il rischio di appartenenza a livello individuale che i loro esperimenti dimostrano.
Un altro corpo di prove suggerisce che anche la capacità diagnostica di questi sistemi è più debole di quanto implichi il marketing. Una ricerca pubblicata su JAMA Network Open ad aprile, guidata dallo studente di medicina di Harvard Arya Rao e ripresa da The Register il 15 aprile, ha testato 21 modelli di IA pronti all'uso su 29 vignette cliniche standardizzate. I modelli andavano bene quando ricevevano un portfolio completo di informazioni e veniva chiesta una diagnosi finale, con i modelli migliori corretti nel 91 per cento dei casi. La diagnosi differenziale precoce, la fase in cui i clinici soppesano possibilità concorrenti, falliva in più di 8 casi su 10.
"Ogni modello che abbiamo testato ha fallito nella grande maggioranza dei casi", ha detto Rao a The Register. "È la fase in cui l'incertezza conta di più, ed è quella in cui questi sistemi sono più deboli". Il dottor Marc Succi, radiologo al Massachusetts General Hospital e coautore, ha detto che i risultati suggeriscono che i modelli pronti all'uso di oggi non dovrebbero essere considerati affidabili per il ragionamento diagnostico rivolto al paziente senza una revisione umana strutturata e completa.
Rao ha anche osservato che la metrica di fallimento più severa non raccontava tutta la storia. Misurata come accuratezza grezza, la quota di casi in cui un modello azzeccava del tutto la risposta andava dal 63 al 78 per cento, il che, secondo lei, suggerisce che i modelli erano spesso parzialmente corretti anche quando fallivano secondo la definizione più severa.
I due articoli puntano nella stessa direzione da angolazioni diverse. Uno mostra che i modelli possono lasciar trapelare chi era nei loro dati di addestramento. L'altro mostra che non sono affidabili nella fase di ragionamento in cui il valore clinico è più alto. Nessuna delle due scoperte è fatale di per sé, e nessuna esclude un impiego utile in contesti ristretti e ben sorvegliati.
Ciò che minano è l'assunto che le attuali verifiche sulla riservatezza e i benchmark di prestazione, insieme, bastino a certificare un'IA medica come sicura. Gli autori dell'articolo su Nature vogliono che gli standard di verifica siano riscritti per riportare il rischio a livello individuale. Il gruppo di JAMA vuole che le dichiarazioni di marketing sugli agenti diagnostici corrispondano alle prove. Entrambi chiedono la stessa cosa: una valutazione che rifletta come questi sistemi falliscono, non come riescono in media.
Fonti
2- 01Medical diagnosis AIs can be tricked into telling whose data trained themEN
- 02LLMs fail in 8 out of 10 early differential diagnosis casesEN
Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.
I contenuti sono stati preparati dalla redazione con il supporto dell'IA.
Commenti
0- Nessun commento — sii il primo.