跳到正文
世界时间EU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

关于人工智能与技术的门户事件 · 分析 · 访谈 · 技术背景

搜索
直播
›

自然子刊研究:向医疗AI发问,可查出它的训练数据里有谁

德国研究团队在6月24日发表于《自然》的论文中报告,判别式医疗AI模型可以被诱导确认某位患者的病历是否曾用于训练,对单个患者的成功率接近百分之百。

健康分析郑雪莉发布: 2026年9月28日7 分钟阅读资料来源 2
自然子刊研究:向医疗AI发问,可查出它的训练数据里有谁

这一结果最早由《The Register》在6月24日报道。它真正要说明的,不是抽象的模型安全问题,而是医院、保险公司和AI厂商对患者做出的隐私承诺意味着什么。如果一个人是否在训练集中可以被确认,训练集本身就成了一条泄露渠道。这才是让人不安的地方。

论文第一作者、慕尼黑工业大学医疗健康与医学人工智能方向负责人Moritz Knolle对《The Register》说,这种暴露不是假设。他说:“可以设想这样的情形:某人出现在训练数据集中,就暴露出他患有亨廷顿舞蹈症这类潜伏的遗传病、抑郁症,或者曾去过某家专门的诊疗机构。”这种情形并不罕见,它就是临床病历记录的日常。

这类攻击并不新鲜。成员推断攻击(MIA)在机器学习文献中已经研究了多年,原理也早已清楚:模型对见过的输入往往更有把握,因此,能向模型提问并读到其置信度的人,就能推断出某条记录是否被用于训练。《自然》这篇论文增加的是规模和临床针对性。团队测试了七个医疗AI数据集,涵盖影像、心电图记录和一般电子健康记录,发现可以识别出单个患者,他们称攻击成功率接近百分之百。这不是实验室里的猎奇结果,而是对模型被人问到关键问题时会如何表现的实测。

为什么总体审计发现不了

这个结果与目前评估这类模型的方式相冲突。隐私审计通常在整个数据集上统计攻击成功率,得出一个让人安心的平均值。论文认为,这个统计单位选错了。研究者写道:“标准评估方案在整个数据集的记录上统计攻击成功率,无法充分反映MIA对单个患者可以达到接近百分之百成功率这一事实。”他们的结论是,AI隐私审计的报告标准需要修改。

还有第二个发现,和第一个放在一起颇显尴尬。在训练队列中代表性不足的患者,比其他人更容易被识别出来,因为他们的数据点显得突出。种族、保险状况、性别、所用的成像方案以及某些疾病状态,都可能成为异常值。Knolle对这条规律的概括很直接:“总的来说,模型的训练队列越特殊,MIA带来的隐私风险就越严重。”

论文指出,数据集越大,单条记录越容易被暴露;研究者还提到,模型变大时患者层面风险变化的幅度此前并不清楚。对于认为规模带来匿名性的人来说,这个结果有悖直觉。在医学影像和基因组学中,规模往往带来相反的效果。

攻击者实际需要什么

实际情况在这里更复杂,论文自己的限定条件也在这里变得重要。要对医疗模型发起MIA,攻击者必须已经掌握目标人物的部分数据。Knolle证实了这一点。他对《The Register》说:“发起MIA,攻击者需要拿到一个目标数据点。”但他补充说,论文表明并不需要完整的病历,这与此前的假设相反。“在论文中我们表明,只掌握部分数据的攻击者仍能成功实施MIA。”

攻击者只需要拿到某人的血液检测结果,或者其中一部分。

这把门槛降低了不少。攻击的做法是:把部分记录输入模型,读取置信度,从而推断该患者是否在训练集中。研究使用的数据集已经匿名化,Knolle指出,攻击者查询时并不需要知道数据属于谁。匿名训练数据与具名个人之间的关联必须来自别处,而这个别处往往是数据泄露。

医疗数据泄露足够频繁,所以这不是理论上的担忧。Knolle把这个场景讲得很直白:某人在做完常规血液检查后,攻击者未经授权进入全科医生的数据库,从那里就能试探模型。

被问到希望这项研究带来什么时,Knolle说,他希望医疗AI界认真对待隐私风险,在需要的地方采用缓解技术。论文建议采用差分隐私框架,这种框架旨在从数学上保证训练数据保持匿名;同时建议重做审计标准,报告个体层面的风险,而不是总体风险。Knolle提到的第三个选项是,在编制训练数据时让代表性不足的群体得到更好的体现,从而削弱使他们容易被识别的异常值效应。

他也提醒,不要把每一次成功的MIA都当作严重侵权。“在很多情况下,一次成功的MIA只意味着很小或可忽略的隐私侵害。”他指出,那些在健康人和病人都有代表的大型一般人群中训练的模型就是如此。

监管的空白

对照当前的监管格局,这篇论文落在规则至今难以填补的地带。医疗AI的隐私审计往往关注数据是否合法收集、标识符是否被去除,而不关注模型本身能否被追问出成员身份。差分隐私作为一种技术是现成的,但并未被统一要求,而论文的论点实质上是:现行评估体系量错了东西。

这个空白并非欧洲独有。多个司法辖区的监管机构一直在研究如何对临床环境中的AI工具分类和监管,提出的方案从上市前审批到对低风险应用的轻量指引都有。在论文作者看来,现有的框架没有一个涉及他们实验所展示的个体层面成员风险。

还有一组平行证据表明,这些系统的诊断表现也弱于营销所暗示的水平。4月发表在《JAMA Network Open》上的研究由哈佛医学生Arya Rao牵头,《The Register》在4月15日报道过。研究用29个标准化临床病例测试了21个现成AI模型。在给出完整信息并要求做出最终诊断时,模型表现不错,领先模型正确率为91%。而在早期鉴别诊断阶段,也就是临床医生权衡各种可能性的环节,超过十分之八的病例失败。

Rao对《The Register》说:“我们测试的每一个模型在绝大多数病例上都失败了。那正是不确定性最重要的阶段,也是这些系统最弱的地方。”马萨诸塞总医院放射科医生、共同作者Marc Succi博士说,结果表明,在缺乏结构化、全面的人工复核时,不应信任现成模型去做面向患者的诊断推理。

Rao还指出,更严格的失败指标并不是全部。按原始准确率计算,模型完全答对的病例比例在63%到78%之间。她说,这说明即使模型在更严格的定义下失败,也常常是部分正确的。

两篇论文从不同角度指向同一个方向。一篇表明模型会泄露谁在训练数据里,另一篇表明在临床价值最高的推理环节,模型并不可靠。单独看,两个发现都不致命,也都不排除在范围狭窄、监管良好的场景中有效部署。

它们真正动摇的,是这样一个假设:现行的隐私审计加上性能基准,足以证明一个医疗AI是安全的。《自然》论文的作者希望改写审计标准,报告个体层面的风险。JAMA团队希望关于诊断智能体的营销说法与证据相符。两者要求的是同一件事:评估要反映这些系统如何失败,而不是它们在平均意义上如何成功。

评论 0

资料来源

2
  1. 01Medical diagnosis AIs can be tricked into telling whose data trained themEN
  2. 02LLMs fail in 8 out of 10 early differential diagnosis casesEN

本文所有数字与引语均来自下列来源,未添加来源之外的内容。

本内容由编辑部在人工智能辅助下制作完成。

郑雪莉

郑雪莉

科学与健康

郑雪莉负责FLASH24科学与健康版块,日常从论文预印本、期刊官网和机构通报中抓取信息,只盯数据来源和实验设计是否站得住。她习惯把每项统计数字与原始数据集交叉比对,遇到百分比先算清分母再决定是否采用。她常联系一线研究人员核实细节,也会在日历上标记大型队列研究的发布节点,提前比对不同团队的结果。私下她学材料物理,还自己架望远镜观测,这让她对测量误差和观测条件格外敏感。她有一条硬规矩:样本量、利益冲突或方法说明缺一项,稿子就不发。

编辑部 →

评论

0
  1. 还没有评论——来说两句吧。

写评论

评论公开展示。我们不发布辱骂、垃圾信息和广告内容。