医疗AI隐私审计漏掉最关键的一点：个体患者

德国研究人员周三在《自然》杂志发表论文。他们报告说，判别式医疗AI模型特别容易受到成员推断攻击（MIA）。这类模型用来给数据分类，并对新输入作出预测。The Register 于6月24日报道了这项发现。

MIA 的做法是查询模型，判断某个数据点是否包含在它的训练集里。放到医疗AI上，这意味着一位病历曾帮助训练模型的患者可能被暴露，病史和诊断细节随之泄露。研究团队分析了七个医疗AI数据集，涵盖图像、心电图记录和一般电子健康记录。他们发现，被此类攻击瞄准的个体患者可以被识别出来，成功率被他们形容为接近完美。

总体指标掩盖了问题

研究人员认为，目前评估医疗AI安全性的方式抓不住这个成功率。他们写道：“MIA 能对个体患者达到接近完美的成功率，这一点并未被标准评估协议充分捕捉，该协议衡量的是跨记录的整体攻击成功率。”据此他们得出结论：AI隐私审计的报告标准需要改变。代表性不足的患者比其他人更容易被识别。论文指出，种族、保险状况、性别、做医学影像检查所用的协议，以及某些疾病状态，都可以成为离群值。这些离群值让成员推断变得更容易。

“一般来说，模型的训练队列越具体，MIA 带来的隐私风险就越严重，”慕尼黑工业大学医疗保健与医学AI讲席教授、论文第一作者 Moritz Knolle 在邮件中告诉 The Register。

Knolle 举例说明了这种具体性可能暴露什么。他说：“你可以想象……这样的情形：某人在训练数据集中的存在，泄露了他患有亨廷顿病这类休眠遗传病、抑郁症，或曾去过某家专门的诊疗机构。”更大的数据集并不能解决这个问题。根据 The Register 对这篇论文的报道，数据集越大，记录越容易被暴露。而在更大的模型中，这种患者层面风险变化的幅度此前并不为人所知。

攻击者实际需要什么

MIA 并不是一种远程、无需输入的攻击。Knolle 确认，要实施这种攻击，攻击者需要拿到一个目标数据点。但这项研究也动摇了此前让这类攻击显得不切实际的一个假设：并不需要拿到完整的患者记录。Knolle 告诉 The Register：“在论文中我们表明，只有部分访问权限的攻击者仍然可以成功实施 MIA。”

攻击本身利用的是模型置信度。当输入数据本就属于训练集的一部分时，医疗AI往往对自己的预测更有把握。攻击者把已获取的患者数据喂给模型，查看置信度，据此推断该患者是否在训练数据中。

Knolle 说：“实施 MIA 的攻击者不需要知道他们用来做 MIA 的数据属于谁。事实上，我们研究中使用的所有数据集都是匿名的。”数据集是匿名的，目标数据却不是。论文报告称，MIA 攻击在个体患者层面基本没有出错，这意味着置信度是判断某位患者数据是否在训练集中的准确信号。Knolle 说，实际上攻击者只需拿到某人的血检结果，或者其中一部分，就能推断出是否被包含。获取这些数据是剩下的障碍，而在 Knolle 看来这并不大。他说：“鉴于医疗数据并不总是被安全存储，攻击者获取数据并非不可想象，比如在你做完一次常规血检后，未经授权访问你全科医生的数据库。”

建议与一项提醒

研究人员提出了几项建议。一是采用差分隐私框架，其设计目的是用数学方式保证训练数据保持匿名。二是改革隐私审计标准，使其考虑个体层面的风险，而不只是整体隐私风险。Knolle 说，第三种选择是整理医疗AI训练数据，让代表性不足的群体得到更好的体现。Knolle 也提醒，不应把任何一次成功的 MIA 都看得过于严重。他指出：“在很多情况下，一次成功的 MIA 只代表很小或可忽略的隐私侵犯”，并提到那些在包含健康人和病人的大规模普通人群上训练的AI模型。当被问及希望这项研究达到什么效果时，Knolle 说，他希望医疗AI界认真对待隐私风险，并在必要时使用风险缓解技术。

另一种失效模式

隐私并不是医疗AI有据可查的唯一弱点。今年4月，The Register 报道了发表在 JAMA Network Open 上的一项研究。该研究考察了21个主流现成AI模型在29个标准化临床病例中的表现。当获得完整的医疗信息组合时，这些模型在最终诊断上表现不错，领先模型正确率达到91%。早期鉴别诊断则是另一回事。研究发现，在该阶段失败率超过80%。第一作者、哈佛医学生 Arya Rao 告诉 The Register：“我们测试的每一个模型在绝大多数病例上都失败了。”他说：“那正是不确定性最重要的阶段，也正是这些系统最薄弱的环节。”

Rao 补充说，严格的失败指标并不是解读这些数据的唯一方式。按正确病例比例计算的原始准确率在63%到78%之间。她说，这表明模型即便没能给出完全正确的鉴别诊断，也常常是部分正确的。马萨诸塞州总医院放射科医生、共同作者 Marc Succi 博士说，最终诊断上更高的成功率不应让人放心。他告诉 The Register：“真正的临床推理开始得更早，那时歧义最大，而那恰恰是它们最薄弱的地方。”他还说，错误的鉴别诊断可能导致治疗延误、带来并发症的不必要操作以及高昂费用。

两篇论文都指向同一个缺口：医疗AI如何被衡量，与它如何被使用之间的差距。一篇衡量的是整体隐私，而个体患者仍可被识别。另一篇给最终答案打分，而更早、更不确定的推理阶段仍然不可靠。