研究发现：医疗AI能认出训练时用过的患者

这种攻击叫成员推断攻击，简称MIA。《The Register》6月24日报道，研究团队探测了七个医疗AI数据集，涵盖影像、心电图记录和一般电子健康记录。被此类攻击锁定的单个患者可以被识别出来，研究人员称之为接近百分之百的攻击成功率。论文指出，标准评估方案没有捕捉到这个数字，因为它衡量的是跨记录的整体攻击成功率。

输入数据本来就属于训练集时，医疗AI的输出更自信。攻击者把患者数据喂给模型，读取置信度，就能判断该患者是否属于训练队列。

论文第一作者、慕尼黑工业大学研究员Moritz Knolle对《The Register》说，攻击者不需要知道数据属于谁。他说：“事实上，我们研究中使用的所有数据集都是匿名的。”部分访问权限就够了。“攻击者只需要拿到某人的血检结果，或者其中一部分。”

离群者最容易被指认

谁会被暴露，这个分布让人不安。医疗训练数据中代表性不足的群体，比那些记录与大众混同的患者更容易被识别。论文列出种族、保险状况、性别、所用成像方案以及某些疾病状态，这些类别都可能充当离群者。Knolle对《The Register》的总结是：“一般来说，模型的训练队列越特殊，MIA带来的隐私风险就越严重。”

他举了一个例子：训练队列本身暴露了某种休眠遗传病，比如亨廷顿病，或者抑郁症，或者曾到某家专科治疗诊所就诊。换句话说，成员身份本身就泄露了诊断。论文还发现，数据集越大，记录越容易被暴露。这种患者层面风险在更大模型中的变化幅度，此前并不为人所知。

攻击者需要掌握目标人群的一些医疗数据。医疗数据泄露足够频繁，这道门槛并不高。Knolle提出的情景是，某人在一次常规血检之后，全科医生的数据库遭到未授权访问。

他给出的目标很有限：希望医疗AI领域认真对待隐私风险，在需要的地方采取缓解措施。论文建议采用差分隐私框架，这类框架旨在从数学上保证训练数据保持匿名；同时建议重写隐私审计标准，衡量个体层面的风险而不是整体风险。他还提出另一种办法：整理训练数据时，让代表性不足的群体得到更好的体现。

监管机构还在补基础课

这件事落在一个正在变化、且并不均衡的监管图景中。IntuitionLabs在8月18日更新的一份报告中估算，截至2024年年中，美国食品药品监督管理局授权的AI和机器学习设备约有950款，每年新增授权约100款。同一份报告援引的市场分析师把AI医疗设备在2024年的估值定为137亿美元，并预测到2033年将超过2550亿美元。放射科在授权中占主导，心脏病学、神经病学、麻醉学和眼科学在扩张。

同一份报告指出，系统综述发现，获得授权的AI设备中只有极小一部分有随机试验或患者结局数据支持；设备故障已与伤害相关，在报告的一起案例中还导致死亡。报告援引了一款ICU分诊工具，它把黑人患者识别为需要额外照护的比例偏低；还援引了结肠镜检查研究，其中医生依赖AI时检出率反而下降。

具体到隐私，论文要求的个体层面审计，撞上的是一套为整体报告而建的系统。根据IntuitionLabs的综述，美国食品药品监督管理局的决策摘要常常省略关键的疗效和安全性细节，全球对标准的遵守也不均衡。欧盟的《人工智能法案》自2024年生效，把许多医疗AI系统列为高风险，在《医疗器械法规》之外又增加了合规工作。世界卫生组织在2023年发布了建议，涵盖透明度、数据质量和生命周期监督。

MD+DI发表了对美国食品药品监督管理局医疗器械律师Suzanne Levy Friedman的采访。她说，她手上最新的数字是美国食品药品监督管理局授权了超过一千款AI设备。她说，其中没有一款内置持续学习的模型。她的一些新客户对此感到震惊，她并不意外。

“创新的热情太高，人们忘了美国食品药品监督管理局首先是一个公共卫生机构，”Friedman对MD+DI说。“他们不是故意刁难，他们是想确保患者不受伤害，临床医生拿到正确的信息，不会在无意中被误导，去依赖可能并未经验证的东西。”

Friedman指出两个早于这篇隐私论文就存在的缺口。软件的迭代速度超过为硬件设计的框架；一旦患者构成发生变化，真实世界的性能漂移可能击中已通过验证的产品，新冠疫情期间就发生过这种情况。算法偏见与之并存，美国食品药品监督管理局要求制造商提供算法的细粒度细节，有些人觉得这要求过分。

隔壁的临床证据问题

隐私不是证据基础中唯一的弱点。《The Register》4月15日报道了一项发表于《JAMA Network Open》的研究，由哈佛医学生Arya Rao领衔，用29个标准化临床案例测试了21个现成AI模型。在拿到完整信息组合时，这些模型给出最终诊断的正确率为91%。在早期鉴别诊断阶段，也就是临床医生在不确定中纳入和排除病情的阶段，失败率超过80%。

“我们测试的每一个模型在绝大多数病例上都失败了，”Rao对《The Register》说。“那是最需要处理不确定性的阶段，也正是这些系统最弱的地方。”

共同作者、麻省总医院放射科医生Marc Succi警告，没有推理的自信本身就是一种危险，对焦虑的患者尤其如此。他还认为，最终诊断的高分可能制造一种误导性的安全感，因为真正的临床推理开始得更早，那时模糊程度最高。Rao指出，更严格的失败指标并不是解读数据的唯一方式：原始准确率在63%到78%之间，意味着模型常常部分正确。

这两篇论文从不同角度指向同一个方向。一篇表明，诊断模型背后的训练数据可以被探查，从而识别出其中的患者。另一篇表明，当同样的模型被要求像临床医生那样推理时，恰好在风险最高的环节上倒下。两者出现之时，本应发现这类问题的审计标准仍在起草。

Knolle的提醒值得记住。他对《The Register》说，在很多情况下，一次成功的MIA只代表很小或可忽略的隐私侵犯，也就是那些在包含健康人和病人的大型普通人群上训练的模型。风险集中在队列狭窄的地方，而狭窄队列恰恰是专科医疗AI通常需要的。