《自然》研究：医疗AI模型会泄露哪些患者参与了训练

这项发现发表在6月24日星期三的《自然》论文上，《The Register》同日作了报道。研究涵盖七个医疗AI数据集，包括影像、心电图记录和一般电子健康记录。研究团队称，当前的隐私审计漏掉了这一风险，因为它们衡量的是总体攻击成功率，而不是逐个患者地衡量。

这类攻击并不新鲜。新鲜的是它在医疗模型上效果如此之好。

成员推断攻击（MIA）通过查询模型来判断某个数据点是否在其训练集中。研究人员称，判别式模型特别容易被这样探测。这类模型用来对数据分类，并对新输入做预测。在他们的分析中，被此类攻击针对的个体患者可以以论文所称的近乎完美的攻击成功率被识别出来。这一点之所以重要，是因为确认某人属于训练集本身就是一种泄露。如果一个模型是在某家专科诊所的队列上训练的，那么证明某人的记录属于该队列，就可能暴露其从未选择公开的诊断。

代表性不足的患者更容易被识别

论文还发现，训练集中的离群患者比非离群患者更容易被识别。研究人员称，种族、保险状况、性别、所用成像方案以及某些疾病状态都可以成为离群特征。

Moritz Knolle是慕尼黑工业大学医疗与医学AI讲席的负责人，也是论文的第一作者。他在与《The Register》的邮件交流中直白地说明了这种权衡。他说：“一般来说，模型的训练队列越具体，MIA带来的隐私风险就越严重。”他举了一个例子：“你可以想象……这样的情形：属于某个训练数据集这一事实，就泄露了某人患有亨廷顿病这类潜伏遗传病、抑郁症，或曾去某家特定专科治疗诊所就诊。”

研究人员还报告了另一种反方向的效果。数据集越大，记录反而越容易被暴露，而不是越难。论文指出，这种患者层面风险的变化幅度，此前尚未在更大的模型上被测量过。

攻击者实际需要什么

这一切并不意味着陌生人可以指着一个模型就把名字拉出来。MIA要求攻击者已经掌握一个他们想测试的数据点。Knolle证实了这一点，同时指出论文缩小了所需数据的范围。

他告诉《The Register》：“要实施MIA，攻击者需要拿到一个目标数据点。在我们的论文中，我们证明只拥有部分访问权限的攻击者仍然可以成功实施MIA。”

机制在于置信度。医疗AI在输入曾出现在其训练集中时往往更确定。攻击者输入获取到的患者数据，读取置信度水平，从而推断是否包含在内。Knolle说，攻击者不需要知道数据属于谁。他补充说，研究中使用的所有数据集都已匿名化，而这并不能防范这类推断。Knolle说：“攻击者只需要拿到某人的血液检测结果，或者其中一部分结果”，就能推断是否包含在内。至于这些数据从何而来，他指向的是日常暴露，而不是什么罕见的入侵：“鉴于医疗数据并不总是被安全存储，攻击者有可能获取访问权限，这并非不可想象，比如在你做完一次常规血液检测后，未经授权进入你全科医生的数据库。”

建议，以及一个提醒

团队的建议并不新奇。他们希望在风险足够高的情况下使用差分隐私框架，重写隐私审计标准以评估个体层面而非总体层面的风险，并在构建训练数据时让代表性不足的群体得到更好的体现，而不是被当作离群点留下。

Knolle把自己的目标说得很窄。他说：“我希望医疗AI界开始认真对待隐私风险，并在必要的情况下使用风险缓解技术。”他也反对把每一次成功攻击都当作丑闻。他指出：“在很多情况下，一次成功的MIA只代表很小或可忽略的隐私侵犯。”他描述的是在庞大的一般人群上训练的模型，其中健康人和患病者都会出现。

论文所处的监管环境很拥挤，但具体内容稀薄。《The Register》的报道指出，AI隐私审计的报告标准需要改变，这既是对审计方和期刊的呼吁，也是对厂商的呼吁。论文中没有任何内容提出新的认证制度，也没有点名任何监管机构采纳了其建议。

还有另一批独立研究从不同角度指向同一方向：这些系统到底该不该做诊断判断。哈佛医学院学生Arya Rao领导的一项研究发表在《JAMA Network Open》上，《The Register》于4月15日报道。该研究用29个标准化临床病例测试了21个现成的AI模型。当给出完整信息并要求给出最终诊断时，这些模型的正确率为91%。

早期鉴别诊断是临床医生在权衡不确定性时排除或纳入各种疾病的阶段。按照论文的严格定义，这一阶段在超过十分之八的病例中失败。Rao告诉《The Register》：“我们测试的每一个模型在绝大多数病例上都失败了。那正是不确定性最要紧的阶段，也是这些系统最薄弱的环节。”

Rao也提醒不要把失败率理解为彻底崩溃。按每个病例的原始准确率衡量，这些模型的得分在63%到78%之间，她说这表明它们往往部分正确。合著者、麻省总医院放射科医生Marc Succi博士说，更高的最终诊断得分不应让任何人安心。他告诉《The Register》：“真正的临床推理开始得更早，那时歧义最大，而那恰恰是它们最薄弱的地方。”

把两篇论文放在一起看，监管问题就更尖锐了。一个既会泄露谁参与了训练、又漏掉大多数早期鉴别诊断的模型，正被推销用于一线分诊，而用来放行它的审计，在这两个风险真正发作的层面上都没有衡量。