《自然》研究:医疗AI模型会泄露哪些患者数据被用于训练
德国研究人员证明,用于辅助诊断疾病的AI模型可以被查询,从而判断某位特定患者的数据是否属于其训练集。他们称,在个体层面成功率接近百分之百。

这项发现发表在6月24日星期三的《自然》论文中,《注册》网站当天做了报道。研究覆盖七个医疗AI数据集,包括图像、心电图记录和一般电子健康记录。研究团队表示,当前的隐私审计漏掉了这一风险,因为它们衡量的是整体攻击成功率,而不是逐个患者衡量。
这类攻击并不新鲜。新鲜的是它在医疗模型上效果如此之好。
成员推断攻击(MIA)通过查询模型来判断某个数据点是否在训练集中。研究人员称,判别式模型,也就是用来对数据分类并对新输入做出预测的那类模型,尤其容易被这样探测。在他们的分析中,被此类攻击针对的单个患者可以被识别出来,论文称之为接近完美的攻击成功率。这一点之所以重要,是因为确认训练集成员身份本身就是一种泄露。如果一个模型是在某家专科诊所的队列上训练的,那么证明某人的记录属于该队列,就可能暴露他从未选择公开的诊断。
代表性不足的患者更容易被识别
论文还发现,训练集中的离群患者比非离群患者更容易被识别。研究人员称,种族、保险状况、性别、所用成像方案以及某些疾病状态都可以成为离群特征。
Moritz Knolle是慕尼黑工业大学医疗健康与医学AI教席负责人,也是论文第一作者。他在与《注册》的邮件往来中直白地说出了这一取舍。“总的来说,模型的训练队列越具体,MIA带来的隐私风险就越严重,”他说。他举了一个例子:“你可以想象……这样的场景:属于某个训练数据集这一事实,会暴露某人患有亨廷顿病这类休眠遗传病、抑郁症,或曾去过某家特定的专科治疗诊所。”
研究人员还报告了另一个反方向的效果。数据集越大,记录越容易被暴露,而不是越难。论文指出,对于更大的模型,这种患者层面风险的变化幅度此前从未被测量过。
攻击者实际需要什么
这并不意味着陌生人可以指着模型把名字拉出来。MIA要求攻击者已经持有一个想测试的数据点。Knolle证实了这一点,同时指出论文缩小了所需数据的范围。
“要实施MIA,攻击者需要拿到一个目标数据点,”他告诉《注册》。“在论文中我们表明,只拥有部分访问权限的攻击者仍然可以成功实施MIA。”
机制在于置信度。医疗AI在输入属于训练集时往往更确定,因此攻击者输入获得的患者数据,读取置信度,推断是否被纳入。Knolle说,攻击者不需要知道数据属于谁。他补充说,研究中使用的所有数据集都已匿名化,但这并不能防住这类推断。Knolle说:“攻击者只需要拿到某人的血液检测结果,或者其中一部分结果”,就能推断是否被纳入。至于数据从哪来,他指向日常暴露而不是奇特的入侵:“鉴于医疗数据并不总是安全存储,攻击者并非不可能获得访问权限,比如在常规血液检测后未经授权进入你的全科医生数据库。”
建议与一个提醒
团队的建议并不奇特。他们希望在风险足够高时采用差分隐私框架,重写隐私审计标准以评估个体层面而非整体风险,并在构建训练数据时让代表性不足的群体得到更好体现,而不是被留作离群值。
Knolle把自己的目标说得很窄。“我希望医疗AI界开始认真对待隐私风险,并在必要的情况下使用风险缓解技术,”他说。他也反对把每一次成功攻击都当成丑闻。“在很多情况下,一次成功的MIA只代表很小或可忽略的隐私侵犯,”他指出,并描述了在庞大普通人群上训练的模型,其中健康和患病个体都会出现。
论文所处的监管环境拥挤,但缺乏具体内容。《注册》的报道指出,AI隐私审计的报告标准需要改变,这既是对审计机构和期刊的呼吁,也是对供应商的呼吁。论文没有提出新的认证制度,也没有点名任何监管机构采纳其建议。
还有另一项独立研究从不同角度指向同一方向:这些系统到底该不该做诊断判断。哈佛医学院学生Arya Rao领导的研究发表在《JAMA Network Open》上,《注册》于4月15日报道。该研究用29个标准化临床案例测试了21个现成AI模型。当提供完整信息并要求给出最终诊断时,这些模型的正确率为91%。
早期鉴别诊断是临床医生在权衡不确定性时排除和纳入疾病的阶段。按论文的严格定义,这一阶段在超过十分之八的案例中失败。“我们测试的每个模型在绝大多数案例上都失败了,”Rao告诉《注册》。“那是最需要处理不确定性的阶段,也正是这些系统最弱的地方。”
Rao也提醒,不要把失败率解读为全面崩溃。按每个案例的原始准确率计算,模型得分在63%到78%之间,她说这表明它们常常部分正确。合著者、马萨诸塞总医院放射科医生Marc Succi博士说,更高的最终诊断得分不应让任何人安心。“真正的临床推理开始得更早,那时歧义最大,而这恰恰是它们仍然最弱的地方,”他告诉《注册》。
把两篇论文放在一起,监管问题就更尖锐了。一个既会泄露谁训练了它、又漏掉大多数早期鉴别诊断的模型,正被推销用于一线分诊,而用来放行它的审计,在两个风险真正起作用的层面上都没有测量。
资料来源
2- 01Medical diagnosis AIs can be tricked into telling whose data trained themEN
- 02LLMs fail in 8 out of 10 early differential diagnosis casesEN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。