《自然》论文：向医疗AI提问，可查出训练数据来自哪些患者

这一发现最早由The Register于6月24日报道。它证明的模型安全问题还在其次，真正要紧的是它揭示了医院、保险公司和AI厂商对患者作出的隐私承诺意味着什么。训练集中的成员身份一旦能被确认，训练集本身就成了一条泄露渠道。这才是令人不安的地方。

论文负责人、慕尼黑工业大学医疗与医学人工智能方向负责人Moritz Knolle对The Register表示，这种暴露并非假设。他说：“可以设想这样的情形：训练数据集中的成员身份会暴露某人患有亨廷顿病这类潜伏的遗传病、抑郁症，或者去过某家专门的诊疗机构。”这种情形并不离奇，它就是临床病历管理的日常业务。

这类攻击并不新鲜。成员推断攻击（MIA）在机器学习文献中已被研究多年，基本思路也已为人熟知：模型对见过的输入往往更有把握，因此能够查询模型并读取其置信度的攻击者，可以推断出某条数据是否被纳入训练。这篇《自然》论文补充的是规模和临床针对性。研究团队测试了七个医疗AI数据集，涵盖图像、心电图记录和一般电子健康记录。他们发现，可以识别出单个患者，攻击成功率接近百分之百。这个结果不是实验室里的奇闻，而是对这些模型在被问到正确问题时会如何表现的一次测量。

为什么汇总审计会漏掉它

这一结果与当前评估这些模型的方式相悖。隐私审计通常在整个数据集上汇总衡量攻击成功率，得出一个让人放心的平均值。论文认为这是错误的分析单位。研究人员写道：“MIA能在单个患者层面达到接近百分之百的成功率，这一点并未被标准评估方案充分反映，该方案是在记录层面汇总衡量攻击成功率的。”他们的结论是，AI隐私审计的报告标准需要修改。

还有第二个发现，与第一个放在一起显得别扭。在训练队列中代表性不足的患者比其他人更容易被识别，因为他们的数据点更突出。种族、保险状况、性别、所用的成像协议以及某些疾病状态都可以起到离群点的作用。Knolle对这种现象的总结很直接：“总体而言，模型的训练队列越特殊，MIA带来的隐私风险就越严重。”

论文指出，数据集越大，单条记录越容易被暴露。研究人员还指出，模型变大时患者层面风险变化的幅度此前并不清楚。对于任何认为规模带来匿名性的人来说，这是个反直觉的结果。在医学影像和基因组学中，规模往往带来相反的效果。

攻击者实际需要什么

现实情况在这里变得更复杂，论文自身的限定条件也在这里变得重要。对医疗模型实施MIA，要求攻击者已经掌握他们想识别的那个人所属的部分数据。Knolle证实了这一点。他对The Register说：“实施MIA，攻击者需要拿到一个目标数据点。”但他同时表示，论文表明并不需要完整的病历，这与此前的假设相反。“在论文中我们表明，只掌握部分数据的攻击者仍能成功实施MIA。”

攻击者只需拿到某人的血液检测结果，或者其中一部分结果。

这大大降低了门槛。攻击的做法是把部分记录输入模型，读取置信度，从而推断该患者是否在训练集中。研究中使用的数据集是匿名化的，Knolle指出，攻击者无需知道数据属于谁就能发起查询。匿名训练数据与具名个人之间的关联必须来自别处，而这个别处往往就是一次数据泄露。

医疗数据泄露足够频繁，因此这不是理论上的担忧。Knolle直白地描述了这种情形：一次常规血液检查之后，攻击者未经授权进入全科医生的数据库，由此就可以探测模型。

被问及希望这项研究达到什么效果时，Knolle说，他希望医疗AI界认真对待隐私风险，并在需要的地方采用缓解技术。论文建议采用差分隐私框架，这类框架旨在为训练数据保持匿名提供数学保证，还建议重写审计标准，报告个体层面的风险而非汇总风险。Knolle提出的第三种做法是，在编制训练数据时让代表性不足的群体得到更好的体现，从而削弱使他们容易被识别的离群效应。

他还提醒，不要把每一次成功的MIA都当作严重违规。“在很多情况下，一次成功的MIA只代表很小或可忽略的隐私侵害，”他指出，并提到那些在健康人和患病人群都有代表的大型普通人群上训练的模型。

监管空白

对照当前的监管状况，这篇论文落在规则迄今难以填补的空间里。医疗AI的隐私审计往往关注数据是否合法收集、标识符是否被剥离，而不是模型本身能否被追问以重建成员身份。差分隐私作为一种技术可以使用，但并未被统一要求。论文的论点本质上是：现行评估机制衡量错了对象。

这一空白并非欧洲独有。多个司法管辖区的监管机构一直在研究如何对临床场景中使用的AI工具进行分类和监管，提出的方案从上市前审批制度到针对低风险应用的轻触式指引不等。在论文作者看来，目前流传的框架没有一个解决了他们实验所展示的个体层面成员风险。

还有一批平行证据表明，这些系统的诊断表现也弱于营销所暗示的水平。4月发表于JAMA Network Open、由哈佛医学生Arya Rao领衔、The Register于4月15日报道的研究，用29个标准化临床病例测试了21个现成的AI模型。当获得完整信息组合并被要求给出最终诊断时，这些模型表现良好，领先模型的正确率为91%。在早期鉴别诊断阶段，也就是临床医生权衡各种可能性的阶段，失败率超过八成。

Rao对The Register说：“我们测试的每个模型在绝大多数病例上都失败了。那是最需要处理不确定性的阶段，也正是这些系统最薄弱的地方。”马萨诸塞总医院放射科医生、论文合著者Marc Succi博士表示，结果表明，在缺乏结构化全面人工复核的情况下，不应信任当今现成模型进行面向患者的诊断推理。

Rao还指出，更严格的失败指标并非全部情况。以原始准确率衡量，即模型完全答对的病例比例，范围为63%到78%，她说这表明即使在更严格的定义下判定失败，模型也常常是部分正确的。

这两篇论文从不同角度指向同一方向。一篇表明模型会泄露训练数据中都有谁，另一篇表明在临床价值最高的推理阶段它们并不可靠。两个发现单独看都不致命，也都不排除在狭窄、监督良好的场景中有效部署的可能。

它们真正动摇的，是这样一个假设：当前的隐私审计加上性能基准，足以认证一个医疗AI是安全的。《自然》论文的作者希望改写审计标准，报告个体层面的风险。JAMA团队希望关于诊断智能体的营销说法与证据相符。两者要求的是同一件事：让评估反映这些系统如何失败，而不是它们平均而言如何成功。