医疗AI训练集里的病人很容易被识别,隐私审计却查不出来
用病历训练的医疗AI模型,可以被反复查询,从而暴露哪些人出现在它的训练数据里。德国研究者在6月24日发表的《自然》论文中报告,针对单个病人的攻击成功率“接近完美”。

成员推断攻击(MIA)就是向模型提问:某条记录是否属于你的训练集。The Register 在6月24日报道了这项发现。判别式医疗AI模型尤其容易遭到这类攻击。这类模型被训练来做分类,对已经见过的数据,给出的置信度也会明显更高。
这份置信度就是泄漏点。团队分析了七个医疗AI数据集,涵盖图像、心电图记录和一般电子健康记录。攻击能以论文所称的接近完美的成功率锁定目标病人。作者认为,标准评估漏掉了这一点。它衡量的是所有记录加总后的攻击成功率,而不是每个人身上的成功率。
离群者最容易被揪出来
训练队列中代表性不足的群体,比典型病人更容易被指认。种族、保险状况、性别、所用的成像方案以及某些疾病状态,都可能把一个人标记为离群者。
总的来说,模型的训练队列越特殊,成员推断攻击带来的隐私风险就越严重。
说这话的是 Moritz Knolle,他在慕尼黑工业大学主持医疗与医学中的人工智能方向,并领导了这项研究。他在与 The Register 的邮件往来中举了个例子:一个模型的成员名单会暴露某人患有亨廷顿病这类潜伏的遗传病,或患有抑郁症,或曾到某家专门的诊疗机构就诊。数据集越大,情况反而越糟。论文指出,模型变大后病人层面风险的变化幅度,此前并不为人所知。
这种攻击所需的条件也比研究者过去设想的少。Knolle 对 The Register 说,攻击者通常需要拿到目标数据点。他表示,论文显示部分访问就够了。血液检测结果,或者其中一部分,都可以。研究用到的所有数据集都已匿名化。攻击者不需要知道自己在测谁的数据。
真正的门槛是拿到这些数据,而这道门槛并不高。Knolle 说,医疗数据并不总是安全存储。一次常规血检之后,全科医生的数据库被人未经授权访问,并非不可想象。
作者希望改什么
论文的建议是程序上的调整,而不是对模型本身做技术修补。团队希望重写隐私审计标准,改为评估个人层面的风险,而不是加总后的数字。它指向差分隐私框架,认为这能给出训练数据保持匿名的数学保证。Knolle 还建议在汇编训练数据时,让代表性不足的群体得到更好的体现。
风险不是理论上的。今年4月发表在 JAMA Network Open 上、经 The Register 报道的另一项研究发现,21个现成AI模型在早期鉴别诊断中,超过八成的情况出现失误。领先模型在最终诊断上的准确率达到91%。马萨诸塞州总医院的放射科医生、论文合著者 Marc Succi 说,如果没有结构化、全面的人工复核,这类系统不应被信任去做面向病人的诊断推理。
Knolle 在谈隐私问题时加了一个限定。他说,在很多情况下,一次成功的成员推断攻击只构成轻微甚至可忽略的侵害。当模型是在包含健康人和病人的大规模一般人群上训练时,就是如此。难处在于,论文自己的结果显示,审计规程恰恰是在这些条件下假定安全的。而这些条件,也恰恰是作者说没有被正确衡量的。
资料来源
2- 01Medical diagnosis AIs can be tricked into telling whose data trained themEN
- 02LLMs fail in 8 out of 10 early differential diagnosis casesEN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。