I pazienti nel training set si riconoscono facilmente, e gli audit sulla privacy non se ne accorgono
I modelli di IA medica addestrati sulle cartelle dei pazienti possono essere interrogati per scoprire chi è nel loro training data. I ricercatori tedeschi parlano di un "successo dell'attacco quasi perfetto" a livello del singolo paziente in un articolo su Nature pubblicato il 24 giugno.

Gli attacchi di membership inference (MIA) chiedono a un modello se un determinato record faceva parte del suo training set. Secondo The Register, che ha riportato i risultati il 24 giugno, i modelli di IA medica discriminativi sono particolarmente esposti: sono addestrati a classificare gli input e diventano misurabilmente più sicuri sui dati che hanno già visto.
Quella sicurezza è la fuga di informazioni. Il gruppo ha analizzato sette dataset di IA medica con immagini, tracciati ECG e cartelle cliniche elettroniche generali. I pazienti presi di mira da questi attacchi si potevano identificare con quello che l'articolo descrive come un successo quasi perfetto. Secondo gli autori la valutazione standard non coglie questo risultato, perché misura il successo dell'attacco in aggregato sui record e non sulla singola persona.
I casi anomali sono i più facili da esporre
I gruppi sottorappresentati in una coorte di addestramento sono più semplici da individuare rispetto ai pazienti tipici. Razza, stato assicurativo, sesso, il protocollo di imaging usato e certi stati di malattia possono tutti funzionare come casi anomali.
In generale, i rischi per la privacy dovuti alle MIA diventano più gravi man mano che la coorte di addestramento di un modello diventa più specifica.
È Moritz Knolle, che dirige l'area IA in sanità e medicina alla Technical University of Munich e ha guidato lo studio, in uno scambio di email con The Register. Ha portato l'esempio di un modello la cui lista di appartenenza rivelerebbe che qualcuno ha una condizione genetica dormiente come la malattia di Huntington, una depressione, oppure che ha frequentato uno specifico centro di cura specialistico. I dataset più grandi peggioravano le cose, non le miglioravano: l'articolo afferma che l'entità del cambiamento nel rischio a livello di paziente nei modelli più grandi era prima sconosciuta.
All'attacco serve anche meno di quanto si pensasse. Knolle ha detto a The Register che di solito un attaccante ha bisogno di accedere a un dato target, e che l'articolo mostra come l'accesso parziale basti. Risultati di analisi del sangue, o una loro parte, andrebbero bene. Tutti i dataset usati nello studio erano anonimizzati, e l'attaccante non deve sapere di chi sono i dati che sta testando.
Ottenere quei dati è l'ostacolo pratico, anche se non alto. Knolle ha detto che, poiché i dati medici non sono sempre conservati in modo sicuro, un accesso non autorizzato al database di un medico di base dopo un normale prelievo del sangue non è impensabile.
Cosa vogliono cambiare gli autori
Le raccomandazioni dell'articolo riguardano procedure, non correzioni tecniche ai modelli stessi. Il gruppo vuole che gli standard di audit sulla privacy vengano riscritti per valutare il rischio a livello individuale invece dei numeri aggregati, e indica i quadri di privacy differenziale come modo per dare garanzie matematiche che i dati di addestramento restino anonimi. Knolle ha anche suggerito di compilare i dati di addestramento in modo che i gruppi sottorappresentati siano meglio rappresentati.
La posta in gioco non è teorica. Uno studio separato pubblicato su JAMA Network Open ad aprile e ripreso da The Register ha rilevato che 21 modelli di IA pronti all'uso fallivano nella diagnosi differenziale precoce in più di 8 casi su 10, mentre i modelli principali raggiungevano il 91 percento di accuratezza nella diagnosi finale. Marc Succi, radiologo al Massachusetts General Hospital e coautore, ha detto che sistemi del genere non vanno considerati affidabili per il ragionamento diagnostico rivolto al paziente senza una revisione umana strutturata e completa.
Knolle ha inquadrato il problema della privacy con una precisazione: ci sono molte situazioni in cui un attacco di membership inference riuscito rappresenta una violazione piccola o trascurabile, cioè quando i modelli sono addestrati su popolazioni ampie e generali che includono persone sane e malate. La difficoltà è che i risultati stessi dell'articolo mostrano che sono esattamente le condizioni in cui i protocolli di audit presumono la sicurezza, ed esattamente le condizioni che secondo gli autori non vengono misurate in modo adeguato.
Fonti
2- 01Medical diagnosis AIs can be tricked into telling whose data trained themEN
- 02LLMs fail in 8 out of 10 early differential diagnosis casesEN
Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.
I contenuti sono stati preparati dalla redazione con il supporto dell'IA.
Commenti
0- Nessun commento — sii il primo.