Nature论文：医疗AI隐私审计漏掉患者个体层面的泄露

德国研究人员测试了七个医疗AI数据集，涵盖图像、心电图记录和一般电子健康记录。成员推断攻击（MIA）通过查询模型，判断某个特定数据点是否在其训练集中。The Register于6月24日报道，这类攻击在单个患者身上的效果，远好于聚合隐私指标所显示的水平。

该论文的结论让任何依据现行规则审计医疗AI的人感到尴尬。研究人员写道："MIA能够在单个患者身上达到近乎完美的成功率，这一事实并未被标准评估协议充分捕捉，该协议只衡量跨记录的聚合攻击成功率。"他们认为，AI隐私审计的报告标准需要改变。

谁最容易被识别

在训练集中代表性不足的患者最容易被标记出来。论文指出，种族、保险状况、性别、所用的成像协议以及某些疾病状态都可以充当异常值，从而增强攻击效果。

Moritz Knolle是慕尼黑工业大学医疗与医学AI方向的负责人，也是该论文的领导者。他通过电子邮件向The Register描述了实际风险。他说："一般来说，随着模型的训练队列变得更具体，MIA带来的隐私风险会变得更严重。"他补充说，成员身份可能暴露一种休眠的遗传病，比如亨廷顿病、抑郁症，或曾在专门治疗诊所就诊。换句话说，泄露的训练集可能暴露人们从未在其他地方披露过的疾病。

还有两项发现让情况更糟。数据集越大，越容易暴露个体记录。论文还指出，更大模型中患者层面风险变化的幅度此前从未被测量过。

攻击者实际需要什么

这种攻击依赖一个简单的特性：当输入已经是其训练数据的一部分时，医疗AI往往更有信心。攻击者输入患者数据，读取置信水平，并据此推断成员身份。

"在我们的论文中，我们展示了拥有部分访问权限的攻击者仍然可以成功实施MIA，"Knolle告诉The Register。

这一点很重要，因为此前的假设是需要完整的患者记录。Knolle说，攻击者"只需要访问某人的血液检测结果，或这些结果的一部分"就能推断出是否包含在内，而且研究中使用的数据集是匿名化的。换句话说，目标数据不一定需要匿名化。

获取这些数据是更困难的部分，但并非难到无法实现。Knolle指出医疗数据泄露频繁发生，并暗示攻击者可能在一次常规血液检测后未经授权访问全科医生的数据库。

为什么审计规则才是关键

该论文并未主张每一次成功的MIA都是丑闻。Knolle告诉The Register，许多成功的攻击只代表轻微或可忽略的隐私侵犯。他举例说，在大型、一般人群中训练、健康人和病人都得到充分代表的模型就是这种情况。问题更狭窄，也更难监管：特定的队列、罕见疾病，以及任何在训练数据中出现得太少的群体。

4月，哈佛医学院学生Arya Rao领导的一项发表在JAMA Network Open上的独立研究，在29个临床案例上测试了21个现成的AI模型。The Register于4月15日报道，这些模型在91%的情况下得出了正确的最终诊断，但在超过八成的情况下未能做出早期鉴别诊断。共同作者、麻省总医院放射科医生Marc Succi博士说，这类系统"可以在没有展示稳健推理的情况下表现出自信"。这种模式正是隐私论文所利用的：模型置信度不是可靠信号，却在两个非常不同的场景中被当作可靠信号使用。

监管机构正在行动，尽管方向尚未确定。为提供背景而收集的近期头条包括英国提出的"L牌"AI医疗监管提案、美国州级规则制定，以及澳大利亚TGA关于AI医疗器械的指南。这些都没有解决Knolle团队所发现的具体缺口，因为缺口在于隐私如何被衡量，而不在于器械是否获批。

研究人员建议采用差分隐私框架，该框架旨在提供数学保证，确保训练数据保持匿名，并建议重写隐私审计标准，使其评估个体层面的风险而非聚合风险。Knolle提出的第三个选项更直接：整理训练数据，让代表性不足的群体出现得更频繁，从而减少一开始就让他们可被识别的异常值效应。

"我希望医疗AI社区开始认真对待隐私风险，并在必要的情况下使用风险缓解技术，"Knolle告诉The Register。