Diagnosi con l'AI sotto esame: i pazienti smascherano i dati di addestramento, i modelli linguistici sbagliano nell'80% dei casi
Due studi pubblicati nel 2026 mostrano che le AI diagnostiche mediche possono essere indotte a rivelare quali dati dei pazienti le hanno addestrate. Mostrano anche che i principali modelli linguistici sbagliano la diagnosi differenziale precoce in più di 8 casi su 10.

Due filoni di ricerca pubblicati nel 2026 restituiscono un quadro preoccupante della diagnosi medica affidata all'AI. Il primo mostra che i modelli diagnostici lasciano trapelare l'identità dei pazienti con cui sono stati addestrati. Il secondo mostra che i grandi modelli linguistici sbagliano nelle fasi iniziali del ragionamento clinico in oltre l'80 percento dei casi. Sono gli stessi strumenti che le persone interrogano sui propri sintomi. The Register ha riferito di entrambi, seguendo i lavori al momento della pubblicazione.
Il problema della privacy nasce da un articolo su Nature pubblicato mercoledì 24 giugno 2026, secondo The Register. I ricercatori tedeschi hanno testato sette dataset di AI medica. Contenevano immagini, tracciati ECG e cartelle cliniche elettroniche generiche. Hanno scoperto che i modelli discriminativi sono particolarmente esposti agli attacchi di inferenza di appartenenza (MIA). Questi modelli classificano i dati e formulano previsioni. Gli attacchi interrogano un modello per stabilire se un determinato dato facesse parte del suo set di addestramento. Il gruppo ha riferito che i singoli pazienti possono essere identificati con un "successo dell'attacco quasi perfetto". I protocolli di valutazione standard non rilevano quel tasso di successo, sostengono i ricercatori. Quei protocolli misurano il successo dell'attacco in forma aggregata sulle diverse cartelle. I ricercatori concludono che gli standard di rendicontazione per gli audit di privacy dell'AI vanno cambiati.
I pazienti meno rappresentati sono più facili da identificare
I pazienti meno rappresentati nei dati di addestramento dell'AI medica sono ancora più facili da identificare, secondo lo stesso articolo. Più facili di quelli i cui dati non si distinguono. The Register elenca etnia, condizione assicurativa, sesso, protocollo di imaging e alcune patologie come categorie che possono funzionare da outlier. Rendono le singole persone più facili da individuare.
Moritz Knolle è titolare della cattedra di AI in Healthcare and Medicine alla Technical University of Munich e primo autore dell'articolo. "In generale, i rischi per la privacy legati alle MIA diventano più gravi man mano che la coorte di addestramento di un modello diventa più specifica", ha detto a The Register in uno scambio di email. Ha descritto scenari in cui l'appartenenza a un dataset di addestramento potrebbe rivelare che qualcuno ha una condizione genetica latente come la malattia di Huntington, una depressione, o che è stato in una specifica clinica specializzata.
L'attacco sfrutta una proprietà semplice dei modelli di machine learning. Tendono a essere più sicuri quando i dati in ingresso facevano parte del loro set di addestramento. Un attaccante con dati parziali di un paziente può darli al modello e controllare il livello di sicurezza. Questo rivela se il paziente era incluso. Knolle ha detto che l'articolo mostra che un attaccante non ha bisogno dell'accesso completo ai dati di un paziente. È il contrario di quanto si credeva prima. "Nel nostro articolo mostriamo che un attaccante con accesso parziale può comunque condurre con successo le MIA", ha detto a The Register.
"Spero che la comunità dell'AI medica inizi a prendere sul serio i rischi per la privacy e che le tecniche di mitigazione del rischio vengano usate nelle situazioni in cui servono." Moritz Knolle, Technical University of Munich
I ricercatori raccomandano i framework di privacy differenziale. Sono pensati per garantire matematicamente che i dati di addestramento restino anonimi. Vogliono anche che gli standard di audit della privacy considerino il rischio a livello individuale, non solo i numeri aggregati. Un'altra opzione, ha detto Knolle, è compilare i dati di addestramento in modo che i gruppi meno rappresentati lo siano meglio. "Ci sono molte situazioni in cui una MIA riuscita rappresenta una violazione della privacy piccola o trascurabile", ha osservato. Si riferiva a modelli addestrati su grandi popolazioni generali che includono sia persone sane sia malate.
I modelli linguistici sbagliano presto e sembrano sicuri
Su un altro fronte, una ricerca pubblicata su JAMA Network Open in aprile 2026 ha rilevato che 21 tra i principali modelli AI pronti all'uso sbagliano la diagnosi differenziale precoce in più di 8 casi su 10. The Register ha trattato lo studio il 15 aprile 2026. I modelli sono stati testati su 29 vignette cliniche standardizzate. Andavano bene quando ricevevano un quadro completo di informazioni mediche e veniva chiesta la diagnosi finale. I modelli principali erano corretti nel 91 percento dei casi. Ma la diagnosi differenziale precoce è la fase in cui i clinici escludono condizioni soppesando le possibilità. Lì il tasso di fallimento superava l'80 percento.
Arya Rao è uno studente di medicina ad Harvard che ha guidato la ricerca. "Ogni modello che abbiamo testato ha fallito nella grande maggioranza dei casi", ha detto a The Register in una email. "È la fase in cui l'incertezza conta di più, ed è quella in cui questi sistemi sono più deboli".
Rao ha osservato che il fallimento non sempre significava una risposta del tutto errata. Misurati con l'accuratezza grezza, come proporzione di risposte corrette, i modelli andavano dal 63 al 78 percento. Ma il gruppo sostiene che la metrica di fallimento più severa conta comunque. Gli strumenti di AI vengono venduti come agenti di prima linea pensati per restringere le diagnosi. "Presentare i modelli linguistici come agenti diagnostici rischia di alimentare una falsa sicurezza proprio dove sono meno affidabili", hanno scritto i ricercatori.
Il dottor Marc Succi è radiologo al Massachusetts General Hospital e coautore dell'articolo. Ha detto a The Register che tassi di successo più alti sulla diagnosi finale non dovrebbero rassicurare. "Il vero ragionamento clinico comincia prima, quando l'ambiguità è massima, ed è esattamente lì che restano più deboli", ha detto. Ha avvertito che una diagnosi differenziale sbagliata può portare a ritardi nelle cure, procedure inutili, costi elevati e altro.
Entrambi gli articoli arrivano in un contesto normativo ancora in ritardo. A metà del 2024 la Food and Drug Administration statunitense aveva autorizzato circa 950 dispositivi medici basati sull'AI, secondo un'analisi di settore pubblicata da IntuitionLabs. La stessa analisi rilevava che solo una piccola frazione dei dispositivi AI autorizzati è sostenuta da studi randomizzati o da dati sugli esiti dei pazienti. Rilevava anche che la FDA ha emesso la sua guida sui Predetermined Change Control Plans a dicembre 2024.
MD+DI ha pubblicato un'intervista con Suzanne Levy Friedman, avvocato della FDA esperta di dispositivi medici. L'articolo rilevava che, nonostante oltre mille dispositivi basati sull'AI autorizzati dalla FDA, nessuno integra un modello che continua ad apprendere. Friedman ha detto che l'agenzia sta lavorando a un percorso in quella direzione. Ma la sua missione principale di agenzia per la salute pubblica la obbliga a soppesare l'innovazione con il rischio. Il rischio è che i clinici si affidino a strumenti non ancora validati.
I due articoli di ricerca suggeriscono che la validazione non riguarda solo se un modello azzecca la risposta finale. Riguarda anche se mantiene segreta l'identità di un paziente. E riguarda se sa gestire l'incertezza prima che la diagnosi sia chiara.
Fonti
4- 01Medical diagnosis AIs can be tricked into telling whose data trained themEN
- 02LLMs fail in 8 out of 10 early differential diagnosis casesEN
- 03AI Medical Devices: 2025 Status, Regulation & ChallengesEN
- 04How Is FDA Regulating AI Medical Devices in 2026?EN
Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.
I contenuti sono stati preparati dalla redazione con il supporto dell'IA.
Commenti
0- Nessun commento — sii il primo.