Le IA mediche possono rivelare su quali dati sono state addestrate, secondo un articolo su Nature

Il risultato, riportato per la prima volta da The Register il 24 giugno, conta meno per ciò che dimostra in astratto sulla sicurezza dei modelli e più per ciò che implica sulle promesse di privacy che ospedali, assicuratori e fornitori di IA hanno fatto ai pazienti. Se si può confermare che un paziente è in un insieme di addestramento, quell'insieme diventa un canale di divulgazione. È questa la parte scomoda.

Moritz Knolle presiede l'IA in sanità e medicina presso l'Università Tecnica di Monaco e ha guidato lo studio. Ha detto a The Register che l'esposizione non è ipotetica. "Si possono immaginare scenari in cui l'appartenenza a un set di dati di addestramento rivela che qualcuno ha una condizione genetica dormiente come la malattia di Huntington, una depressione, o che si è recato in una clinica specializzata specifica", ha detto. Lo scenario non è esotico. È l'ordinaria amministrazione della tenuta dei fascicoli clinici.

La classe di attacco non è nuova. Gli attacchi di inferenza di appartenenza, o MIA, sono studiati nella letteratura sull'apprendimento automatico da anni. La forma generale della tecnica è ben compresa: un modello tende ad avere più fiducia sugli input che ha già visto, quindi un attaccante che può interrogare il modello e leggerne i punteggi di confidenza può dedurre l'inclusione. L'articolo su Nature aggiunge scala e specificità clinica. Il team ha testato sette dataset di IA medica che coprono immagini, elettrocardiogrammi e cartelle cliniche elettroniche generali. I singoli pazienti potevano essere identificati con quello che i ricercatori descrivono come un successo quasi perfetto dell'attacco. Non è una curiosità da laboratorio. È una misura di come questi modelli si comportano quando qualcuno pone loro la domanda giusta.

Perché le verifiche aggregate non lo rilevano

Quel risultato va contro il modo in cui questi modelli vengono attualmente valutati. Le verifiche sulla privacy di solito misurano il successo dell'attacco in forma aggregata su un dataset, producendo una media rassicurante. L'articolo sostiene che questa è l'unità di analisi sbagliata. "Il fatto che le MIA possano raggiungere tassi di successo quasi perfetti per singoli pazienti non è adeguatamente colto dal protocollo di valutazione standard, che misura il successo dell'attacco in forma aggregata sui fascicoli", scrivono i ricercatori. La loro conclusione è che gli standard di rendicontazione per le verifiche sulla privacy dell'IA devono cambiare.

C'è un secondo risultato che stride accanto al primo. I pazienti sottorappresentati in una coorte di addestramento sono più facili da identificare rispetto a quelli che non lo sono, perché i loro punti dati si distinguono. Razza, stato assicurativo, sesso, il protocollo di imaging utilizzato e certi stati patologici possono tutti funzionare come valori anomali. Il riassunto di Knolle del fenomeno è netto: "In generale, i rischi per la privacy derivanti dalle MIA diventano più gravi man mano che la coorte di addestramento di un modello diventa più specifica".

Secondo l'articolo, più grande è il dataset, più facili da esporre sono i singoli fascicoli. I ricercatori osservano che l'entità di questo cambiamento nel rischio a livello di paziente nei modelli più grandi era prima sconosciuta. È un risultato controintuitivo per chiunque presuma che la scala porti l'anonimato. Nell'imaging medico e nella genomica, spesso fa l'opposto.

Di cosa ha davvero bisogno un attaccante

Qui il quadro pratico si complica, ed è qui che contano le cautele dell'articolo stesso. Eseguire una MIA contro un modello medico richiede che l'attaccante possieda già alcuni dati appartenenti alla persona che vuole identificare. Knolle lo ha confermato. "Per condurre una MIA un attaccante ha bisogno di accedere a un punto dati obiettivo", ha detto a The Register. Ha aggiunto però che l'articolo mostra come non sia richiesto un fascicolo completo del paziente, contrariamente a presupposti precedenti. "Nel nostro articolo mostriamo che un attaccante con accesso parziale può comunque condurre con successo le MIA".

L'attaccante avrebbe semplicemente bisogno di accedere ai risultati delle analisi del sangue di qualcuno, o a una parte di questi risultati.

Questo abbassa notevolmente l'asticella. L'attacco funziona somministrando il fascicolo parziale al modello, leggendo il livello di confidenza e deducendo che il paziente è nell'insieme di addestramento. I dataset usati nello studio erano anonimizzati. Knolle sottolinea che l'attaccante non ha bisogno di sapere a chi appartengono i dati per eseguire l'interrogazione. Il collegamento tra dati di addestramento anonimizzati e un individuo identificato deve venire da qualche altra parte, ma quell'altra parte è spesso una violazione.

Le violazioni dei dati sanitari sono abbastanza frequenti che questa non è una preoccupazione teorica. Knolle delinea lo scenario senza giri di parole: un attaccante ottiene accesso non autorizzato al database di un medico di base dopo un esame del sangue di routine, e da lì può sondare il modello.

Alla domanda su cosa voglia ottenere dalla ricerca, Knolle ha detto di sperare che la comunità dell'IA medica prenda sul serio i rischi per la privacy e applichi le tecniche di mitigazione dove sono necessarie. L'articolo raccomanda quadri di privacy differenziale, progettati per fornire garanzie matematiche che i dati di addestramento restino anonimi, e uno standard di verifica rielaborato che riporti il rischio a livello individuale invece che aggregato. Una terza opzione, sollevata da Knolle, è compilare i dati di addestramento in modo che i gruppi sottorappresentati siano meglio rappresentati, riducendo l'effetto di valore anomalo che li rende facili da identificare.

Ha anche messo in guardia dal trattare ogni MIA riuscita come una violazione grave. "Ci sono molte situazioni in cui una MIA riuscita rappresenta una violazione della privacy piccola o trascurabile", ha osservato, indicando modelli addestrati su grandi popolazioni generali dove sono rappresentati sia individui sani sia malati.

Il vuoto normativo

Rispetto al quadro normativo attuale, l'articolo si colloca in uno spazio che le regole finora hanno faticato a riempire. Le verifiche sulla privacy per l'IA medica tendono a concentrarsi su se i dati siano stati raccolti lecitamente e se gli identificatori siano stati rimossi, non su se il modello stesso possa essere interrogato per ricostruire l'appartenenza. La privacy differenziale è disponibile come tecnica, ma non è richiesta in modo uniforme. L'argomentazione dell'articolo è essenzialmente che il regime di valutazione sta misurando la cosa sbagliata.

Questo vuoto non è esclusivo dell'Europa. Le autorità di regolamentazione in diverse giurisdizioni hanno lavorato su come classificare e supervisionare gli strumenti di IA usati in ambito clinico, con proposte che vanno da regimi di approvazione preventiva a orientamenti più leggeri per applicazioni a rischio inferiore. Nessuno dei quadri in circolazione, per quanto riguarda gli autori dell'articolo, affronta il rischio di appartenenza a livello individuale che i loro esperimenti dimostrano.

Esiste un corpus parallelo di prove che suggerisce come anche la performance diagnostica di questi sistemi sia più debole di quanto implichi il marketing. Una ricerca pubblicata su JAMA Network Open in aprile, guidata dalla studentessa di medicina di Harvard Arya Rao e trattata da The Register il 15 aprile, ha testato 21 modelli di IA pronti all'uso su 29 vignette cliniche standardizzate. I modelli si sono comportati bene quando ricevevano un portfolio completo di informazioni e veniva chiesta una diagnosi finale, con i modelli migliori corretti nel 91 percento dei casi. La diagnosi differenziale precoce, la fase in cui i clinici soppesano possibilità concorrenti, ha fallito in più di 8 casi su 10.

"Ogni modello che abbiamo testato ha fallito nella stragrande maggioranza dei casi", ha detto Rao a The Register. "È la fase in cui l'incertezza conta di più, ed è dove questi sistemi sono più deboli". Il dottor Marc Succi, radiologo al Massachusetts General Hospital e coautore, ha detto che i risultati suggeriscono che i modelli pronti all'uso di oggi non dovrebbero essere considerati affidabili per il ragionamento diagnostico rivolto al paziente senza una revisione umana strutturata e completa.

Rao ha anche osservato che la metrica di fallimento più severa non era tutta la storia. Misurata come accuratezza grezza, la proporzione di casi in cui un modello ha dato la risposta completamente corretta variava dal 63 al 78 percento. Secondo lei questo suggerisce che i modelli erano spesso parzialmente corretti anche quando fallivano secondo la definizione più severa.

I due articoli puntano nella stessa direzione da angolazioni diverse. Uno mostra che i modelli possono rivelare chi era nei loro dati di addestramento. L'altro mostra che sono inaffidabili nella fase di ragionamento in cui il valore clinico è più alto. Nessuno dei due risultati è fatale di per sé, e nessuno dei due esclude un impiego utile in contesti ristretti e ben supervisionati.

Ciò che entrambi minano è il presupposto che le attuali verifiche sulla privacy e i benchmark di performance insieme siano sufficienti a certificare un'IA medica come sicura. Gli autori dell'articolo su Nature vogliono che gli standard di verifica siano riscritti per riportare il rischio a livello individuale. Il team di JAMA vuole che le affermazioni di marketing sugli agenti diagnostici corrispondano alle prove. Entrambe sono richieste della stessa cosa: una valutazione che rifletta come questi sistemi falliscono, non come riescono in media.