Le IA per la diagnosi medica rivelano chi le ha addestrate, e le regole non lo intercettano
I modelli di IA medica usati per aiutare a diagnosticare i pazienti identificano con una "quasi perfetta percentuale di successo dell'attacco" i dati su cui sono stati addestrati, secondo ricercatori tedeschi in un articolo su Nature pubblicato il 24 giugno. Sostengono che gli standard di verifica della privacy non misurano il rischio al livello in cui morde.

La scoperta, ripresa da The Register il 24 giugno, arriva da un gruppo guidato da Moritz Knolle, che dirige l'area IA in sanità e medicina alla Technical University of Munich. L'articolo testa attacchi di inferenza di appartenenza (MIA) su sette dataset di IA medica composti da immagini, registrazioni ECG e cartelle cliniche elettroniche generiche. I modelli sono discriminativi: classificano gli input e formulano previsioni in base a ciò su cui sono stati addestrati.
Un MIA sfrutta una semplice particolarità. Un modello tende a essere più sicuro sugli input che ha già visto. Basta dargli un record, leggere il punteggio di confidenza e si può dedurre se quel record era nel set di addestramento. Secondo Knolle, "chi conduce un MIA non ha bisogno di sapere a chi appartengono i dati con cui sta cercando di condurre il MIA", e tutti i dataset usati nello studio erano anonimizzati.
I pazienti sottorappresentati sono più facili da identificare
La ricerca ha rilevato che i pazienti di un dataset sono in genere facili da individuare, e che quelli sottorappresentati nei dati di addestramento lo sono ancora di più. Etnia, stato assicurativo, sesso, protocollo di imaging usato e alcune condizioni patologiche possono tutti agire da outlier che fanno emergere un singolo individuo.
In generale, i rischi per la privacy derivanti dai MIA diventano più gravi man mano che la coorte di addestramento di un modello diventa più specifica. Si possono immaginare ... scenari in cui l'appartenenza a un dataset di addestramento rivela che qualcuno ha una condizione genetica latente come la malattia di Huntington, una depressione, o che ha frequentato uno specifico ambulatorio specialistico.
La citazione è di Knolle, che ha risposto a The Register via email. L'implicazione non è astratta: sapere che i dati di una persona stanno dentro una coorte specialistica può rivelare una diagnosi che non aveva mai scelto di rendere nota, o alimentare discriminazioni nelle assicurazioni, nel lavoro o altrove.
La scala peggiora le cose, non le migliora. L'articolo rileva che più grande è il dataset, più facile diventa esporre i record, e che "l'entità di questo cambiamento nel rischio a livello di paziente era prima sconosciuta" nei modelli più grandi. Questo va contro l'assunto comune che set di addestramento più ampi diluiscano l'esposizione di ogni singolo individuo.
I numeri della verifica mancano il punto
Qui comincia l'argomentazione normativa. I ricercatori affermano che un successo quasi perfetto contro singoli pazienti "non è adeguatamente catturato dal protocollo di valutazione standard, che misura il successo dell'attacco in forma aggregata sui record". Una verifica può riportare un basso tasso medio di successo dell'attacco mentre singoli pazienti restano banalmente identificabili. La conclusione del gruppo è che gli standard di rendicontazione per le verifiche della privacy delle IA devono cambiare.
Le raccomandazioni di Knolle coprono due binari. Il primo è tecnico: i framework di privacy differenziale, progettati per dare una garanzia matematica che i dati di addestramento restino anonimi. Il secondo è procedurale, e sposta le verifiche dal rischio aggregato al rischio a livello individuale. Suggerisce anche una correzione più diretta: compilare i dati di addestramento dell'IA medica in modo che i gruppi sottorappresentati siano meglio rappresentati fin dall'inizio. "Spero che la comunità dell'IA medica inizi a prendere sul serio i rischi per la privacy e che le tecniche di mitigazione del rischio vengano usate nelle situazioni in cui sono necessarie", ha detto a The Register.
C'è una precondizione reale per tutto questo. Per eseguire un MIA, un attaccante ha bisogno di almeno alcuni dati appartenenti al bersaglio. Knolle ha detto che l'articolo dimostra che una cartella paziente completa non è necessaria, contrariamente a quanto si credeva prima: "Nel nostro articolo mostriamo che un attaccante con accesso parziale può comunque condurre con successo i MIA". Ha portato l'esempio dei risultati di un esame del sangue, o di una loro parte, sufficienti a dedurre l'inclusione, e ha indicato l'esposizione abituale dei dati sanitari nelle violazioni. "Dato che i dati medici non sono sempre conservati in modo sicuro, non è impensabile che un attaccante possa accedervi, per esempio ottenendo accesso non autorizzato al database del proprio medico di base dopo che questi ha eseguito un esame del sangue di routine", ha detto.
Knolle è stato attento a non esagerare il danno in ogni caso. "Ci sono molte situazioni in cui un MIA riuscito rappresenta una violazione della privacy piccola o trascurabile", ha osservato, indicando modelli addestrati su popolazioni ampie e generali, dove individui sani e malati sono rappresentati in numeri sufficienti. Il rischio si concentra dove le coorti sono ristrette.
Anche i modelli diagnostici sono deboli
La privacy è solo uno dei due problemi visibili nello stesso angolo dell'IA medica. Una ricerca pubblicata su JAMA Network Open in aprile, e ripresa da The Register il 15 aprile, ha testato 21 modelli di IA pronti all'uso su 29 vignette cliniche standardizzate. I modelli avevano ragione sulla diagnosi finale nel 91 per cento dei casi quando ricevevano un portfolio completo di informazioni. Sulla diagnosi differenziale precoce, la fase in cui i clinici stanno ancora includendo ed escludendo condizioni, hanno fallito in più di 8 casi su 10.
Lo studio è stato guidato da Arya Rao, studente di medicina ad Harvard. "Ogni modello che abbiamo testato ha fallito sulla grande maggioranza dei casi", ha detto Rao a The Register. "È la fase in cui l'incertezza conta di più, ed è quella in cui questi sistemi sono più deboli". Il coautore dottor Marc Succi, radiologo al Massachusetts General Hospital, ha detto che i modelli "possono proiettare sicurezza senza mostrare un ragionamento solido, soprattutto sulla diagnosi differenziale", e ha avvertito che questa sicurezza può alimentare l'ansia in pazienti già preoccupati per la propria salute. Rao ha anche notato che la metrica di fallimento rigorosa è severa: misurati come accuratezza grezza, i modelli hanno ottenuto tra il 63 e il 78 per cento, spesso parzialmente corretti anziché del tutto sbagliati.
Mettendo i due articoli fianco a fianco, il divario normativo si allarga. L'articolo sulla privacy dice che le verifiche misurano la cosa sbagliata, al livello sbagliato, e che i fornitori hanno bisogno di un incentivo per proteggere i dati di addestramento. L'articolo sulla diagnosi dice che il marketing di questi sistemi come agenti di prima linea "rischia di alimentare una falsa sicurezza proprio dove sono meno affidabili", e che "gli LLM non possono ancora essere considerati affidabili nelle decisioni di prima linea". In entrambi i casi il fallimento è di un tipo che i benchmark aggregati e le promesse di prodotto possono nascondere.
Quello che i ricercatori chiedono è più limitato di un divieto. Cambiare il modo in cui le verifiche della privacy riportano il rischio, così che i singoli pazienti contino. Usare la privacy differenziale dove le coorti sono sensibili. Bilanciare i dati di addestramento perché gli outlier non siano più outlier. E trattare i modelli come strumenti che richiedono revisione umana anziché come guardiani. Niente di tutto questo richiede nuova scienza. Richiede regimi di valutazione che misurino la cosa che può davvero danneggiare un paziente.
Fonti
2- 01Medical diagnosis AIs can be tricked into telling whose data trained themEN
- 02LLMs fail in 8 out of 10 early differential diagnosis casesEN
Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.
I contenuti sono stati preparati dalla redazione con il supporto dell'IA.
Commenti
0- Nessun commento — sii il primo.