跳到正文
世界时间EU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

关于人工智能与技术的门户事件 · 分析 · 访谈 · 技术背景

搜索
直播
›

医疗AI训练集里的病人很容易被识别,隐私审计却查不出来

用病历训练的医疗AI模型,可以被反复查询,从而暴露哪些人出现在它的训练数据里。德国研究者在6月24日发表的《自然》论文中报告,针对单个病人的攻击成功率“接近完美”。

健康分析郑雪莉发布: 2026年9月27日3 分钟阅读资料来源 2
医疗AI训练集里的病人很容易被识别,隐私审计却查不出来

成员推断攻击(MIA)就是向模型提问:某条记录是否属于你的训练集。The Register 在6月24日报道了这项发现。判别式医疗AI模型尤其容易遭到这类攻击。这类模型被训练来做分类,对已经见过的数据,给出的置信度也会明显更高。

这份置信度就是泄漏点。团队分析了七个医疗AI数据集,涵盖图像、心电图记录和一般电子健康记录。攻击能以论文所称的接近完美的成功率锁定目标病人。作者认为,标准评估漏掉了这一点。它衡量的是所有记录加总后的攻击成功率,而不是每个人身上的成功率。

离群者最容易被揪出来

训练队列中代表性不足的群体,比典型病人更容易被指认。种族、保险状况、性别、所用的成像方案以及某些疾病状态,都可能把一个人标记为离群者。

总的来说,模型的训练队列越特殊,成员推断攻击带来的隐私风险就越严重。

说这话的是 Moritz Knolle,他在慕尼黑工业大学主持医疗与医学中的人工智能方向,并领导了这项研究。他在与 The Register 的邮件往来中举了个例子:一个模型的成员名单会暴露某人患有亨廷顿病这类潜伏的遗传病,或患有抑郁症,或曾到某家专门的诊疗机构就诊。数据集越大,情况反而越糟。论文指出,模型变大后病人层面风险的变化幅度,此前并不为人所知。

这种攻击所需的条件也比研究者过去设想的少。Knolle 对 The Register 说,攻击者通常需要拿到目标数据点。他表示,论文显示部分访问就够了。血液检测结果,或者其中一部分,都可以。研究用到的所有数据集都已匿名化。攻击者不需要知道自己在测谁的数据。

真正的门槛是拿到这些数据,而这道门槛并不高。Knolle 说,医疗数据并不总是安全存储。一次常规血检之后,全科医生的数据库被人未经授权访问,并非不可想象。

作者希望改什么

论文的建议是程序上的调整,而不是对模型本身做技术修补。团队希望重写隐私审计标准,改为评估个人层面的风险,而不是加总后的数字。它指向差分隐私框架,认为这能给出训练数据保持匿名的数学保证。Knolle 还建议在汇编训练数据时,让代表性不足的群体得到更好的体现。

风险不是理论上的。今年4月发表在 JAMA Network Open 上、经 The Register 报道的另一项研究发现,21个现成AI模型在早期鉴别诊断中,超过八成的情况出现失误。领先模型在最终诊断上的准确率达到91%。马萨诸塞州总医院的放射科医生、论文合著者 Marc Succi 说,如果没有结构化、全面的人工复核,这类系统不应被信任去做面向病人的诊断推理。

Knolle 在谈隐私问题时加了一个限定。他说,在很多情况下,一次成功的成员推断攻击只构成轻微甚至可忽略的侵害。当模型是在包含健康人和病人的大规模一般人群上训练时,就是如此。难处在于,论文自己的结果显示,审计规程恰恰是在这些条件下假定安全的。而这些条件,也恰恰是作者说没有被正确衡量的。

评论 0

资料来源

2
  1. 01Medical diagnosis AIs can be tricked into telling whose data trained themEN
  2. 02LLMs fail in 8 out of 10 early differential diagnosis casesEN

本文所有数字与引语均来自下列来源,未添加来源之外的内容。

本内容由编辑部在人工智能辅助下制作完成。

郑雪莉

郑雪莉

科学与健康

郑雪莉负责FLASH24科学与健康版块,日常从论文预印本、期刊官网和机构通报中抓取信息,只盯数据来源和实验设计是否站得住。她习惯把每项统计数字与原始数据集交叉比对,遇到百分比先算清分母再决定是否采用。她常联系一线研究人员核实细节,也会在日历上标记大型队列研究的发布节点,提前比对不同团队的结果。私下她学材料物理,还自己架望远镜观测,这让她对测量误差和观测条件格外敏感。她有一条硬规矩:样本量、利益冲突或方法说明缺一项,稿子就不发。

编辑部 →

评论

0
  1. 还没有评论——来说两句吧。

写评论

评论公开展示。我们不发布辱骂、垃圾信息和广告内容。