跳到正文
世界时间EU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

关于人工智能与技术的门户事件 · 分析 · 访谈 · 技术背景

搜索
直播
›

医疗诊断AI会泄露训练数据来自谁,而现行规则抓不住

德国研究人员在6月24日发表于《自然》的论文中报告,用于辅助诊断患者的医疗AI模型能以“近乎完美的攻击成功率”识别出哪些人的数据训练了它们。他们指出,隐私审计标准并没有在风险真正造成伤害的层面进行衡量。

健康分析郑雪莉发布: 2026年9月27日5 分钟阅读资料来源 2
医疗诊断AI会泄露训练数据来自谁,而现行规则抓不住

The Register于6月24日报道了这一发现。论文来自Moritz Knolle领导的团队,他在慕尼黑工业大学主持医疗与医学中的AI研究。团队针对七个医疗AI数据集测试了成员推断攻击(MIA),这些数据集由图像、心电图记录和一般电子健康记录组成。这些模型属于判别式模型:它们对输入进行分类,并根据训练过的内容作出预测。

MIA利用的是一个简单的特性。模型对见过的输入往往更有把握。把一条记录喂给它,读取置信度分数,就能推断这条记录是否在训练集中。Knolle表示,“发起MIA的攻击者不需要知道他们用来实施MIA的数据属于谁”。研究中使用的所有数据集都已匿名化。

代表性不足的患者更容易被识别

研究发现,数据集中的患者通常很容易被单独识别出来,而在训练数据中代表性不足的人更容易被识别。种族、保险状况、性别、所用的成像方案以及某些疾病状态,都可能成为让个体凸显出来的离群特征。

总的来说,模型的训练群体越具体,MIA带来的隐私风险就越严重。可以想象……这样的情形:某人属于某个训练数据集这一事实,会暴露他患有亨廷顿病这类潜伏的遗传病、抑郁症,或者曾去过某家专门的专科治疗诊所。

这段话来自Knolle通过电子邮件接受The Register采访时的表述。其含义并不抽象:知道某个人的数据位于一个专科群体中,就可能暴露他从未选择公开的诊断,或者在保险、就业或其他方面助长歧视。

规模会让情况更糟,而不是更好。论文发现,数据集越大,记录就越容易被暴露。在更大的模型中,“这种患者层面风险变化幅度此前并不为人所知”。这与一种常见假设相悖,即更大的训练集会稀释任何个体的暴露程度。

审计数字没有说到点子上

监管层面的争论从这里开始。研究人员表示,针对单个患者的近乎完美成功率“没有被标准评估协议充分捕捉,因为该协议衡量的是跨记录汇总后的攻击成功率”。审计可以报告一个很低的平均攻击成功率,而单个患者仍然轻易可被识别。团队的结论是,AI隐私审计的报告标准需要改变。

Knolle的建议涵盖两条线。第一条是技术性的:差分隐私框架,其设计目的是为训练数据保持匿名提供数学保证。第二条是程序性的:把审计从汇总隐私风险转向个体层面的风险。他还提出一个更直接的补救办法,即汇编医疗AI训练数据时让代表性不足的群体从一开始就得到更好的体现。“我希望医疗AI界开始认真对待隐私风险,并在有必要的情况下使用风险缓解技术,”他告诉The Register。

这一切都有一个现实前提。要实施MIA,攻击者至少需要属于目标对象的一些数据。Knolle说,论文表明并不需要完整的患者记录,这与以往的看法相反:“在论文中我们表明,只有部分访问权限的攻击者仍然可以成功实施MIA。”他以血液检测结果为例,或者其中一部分就足以推断某人是否被纳入。他还指出,医疗数据在泄露事件中经常暴露。“鉴于医疗数据并不总是被安全存储,攻击者获取访问权限并非不可想象,例如在常规血液检测之后未经授权访问你的全科医生数据库,”他说。

Knolle谨慎地没有夸大每种情况下的危害。“在很多情况下,一次成功的MIA只代表很小或可忽略的隐私侵犯,”他指出,并提到在大型一般人群上训练的模型,这些人群中健康和患病人士都有足够数量。风险集中在群体狭窄的地方。

诊断模型本身也很弱

隐私只是医疗AI同一角落中可见的两个问题之一。4月发表于JAMA Network Open、并由The Register于4月15日报道的研究,在29个标准化临床案例中测试了21个现成AI模型。在获得完整信息组合时,这些模型在最终诊断上的正确率为91%。在早期鉴别诊断阶段,也就是临床医生仍在排除和纳入各种疾病的阶段,它们在超过10个案例中的8个以上失败。

该研究由哈佛医学生Arya Rao领导。“我们测试的每个模型在绝大多数案例上都失败了,”Rao告诉The Register。“那是最需要处理不确定性的阶段,也正是这些系统最弱的地方。”合著者、马萨诸塞总医院放射科医生Marc Succi博士说,这些模型“能在没有展示强推理的情况下表现出信心,尤其是在鉴别诊断方面”。他警告说,这种信心可能加剧本就担心健康的患者的焦虑。Rao还指出,严格的失败指标较为苛刻:以原始准确率衡量,模型得分为63%到78%,往往是部分正确而非完全错误。

把这两篇论文放在一起看,监管缺口就更大。隐私论文说审计衡量的是错误的东西、错误的层面,供应商需要有保护训练数据的激励。诊断论文说,把这些系统宣传为一线代理“恰恰在它们最不可靠的地方助长虚假信心”,并且“LLM目前还不能在前线决策中被信任”。两种情况下,失败都是汇总基准和产品宣传能够掩盖的那种。

研究人员所要求的比禁令更窄。改变隐私审计报告风险的方式,让单个患者被计入。在群体敏感的地方使用差分隐私。平衡训练数据,使离群者不再是离群者。并且把这些模型当作需要人工复核的工具,而不是把关者。这些都不需要新科学。它需要的是能够衡量真正可能伤害患者之事的评估制度。

评论 0

资料来源

2
  1. 01Medical diagnosis AIs can be tricked into telling whose data trained themEN
  2. 02LLMs fail in 8 out of 10 early differential diagnosis casesEN

本文所有数字与引语均来自下列来源,未添加来源之外的内容。

本内容由编辑部在人工智能辅助下制作完成。

郑雪莉

郑雪莉

科学与健康

郑雪莉负责FLASH24科学与健康版块,日常从论文预印本、期刊官网和机构通报中抓取信息,只盯数据来源和实验设计是否站得住。她习惯把每项统计数字与原始数据集交叉比对,遇到百分比先算清分母再决定是否采用。她常联系一线研究人员核实细节,也会在日历上标记大型队列研究的发布节点,提前比对不同团队的结果。私下她学材料物理,还自己架望远镜观测,这让她对测量误差和观测条件格外敏感。她有一条硬规矩:样本量、利益冲突或方法说明缺一项,稿子就不发。

编辑部 →

评论

0
  1. 还没有评论——来说两句吧。

写评论

评论公开展示。我们不发布辱骂、垃圾信息和广告内容。