跳到正文
世界时间EU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

关于人工智能与技术的门户事件 · 分析 · 访谈 · 技术背景

搜索
直播
›

医疗AI隐私审计漏掉了最关键的东西:个体患者

医学中使用的诊断类AI模型可以被套出某个特定患者的数据是否曾出现在其训练集里。德国研究人员指出,目前对这些模型做隐私审计的标准做法抓不到这一点。

健康分析郑雪莉发布: 2026年9月27日5 分钟阅读资料来源 2
医疗AI隐私审计漏掉了最关键的东西:个体患者

德国研究人员周三在《自然》杂志发表论文,报告称判别式医疗AI模型(即用于对数据分类、并对新输入做出预测的那类模型)"尤其容易"受到成员推断攻击(MIA)的影响。《注册》于6月24日报道了这些发现。

MIA的做法是反复查询模型,从而判断某个数据点是否被纳入其训练集。对医疗AI而言,这意味着一个患者的病历曾参与训练模型,他就可能被暴露,其病史和诊断细节随之泄露。研究团队分析了七个医疗AI数据集,涵盖图像、心电图记录和一般电子健康记录。他们发现,被此类攻击瞄准的个体患者可以被识别出来,成功率被他们形容为"近乎完美"。

聚合指标掩盖了问题

研究人员认为,目前评估医疗AI模型安全性的方式并未反映这一成功率。他们写道:"MIA能对个体患者达到近乎完美的成功率,这一事实并未被标准评估方案充分捕捉,因为该方案衡量的是跨记录聚合后的攻击成功率。"据此他们得出结论:AI隐私审计的报告标准需要改变。代表性不足的患者比其他人更容易被识别。论文指出,种族、保险状况、性别、做医学影像时采用的方案以及某些疾病状态,都可以充当离群点。这些离群点让成员推断变得更容易。

"总的来说,随着模型的训练队列变得更具体,MIA带来的隐私风险会更严重,"慕尼黑工业大学医疗健康AI与医学教席教授、论文第一作者Moritz Knolle在邮件中告诉《注册》。

Knolle举例说明了这种具体性可能暴露什么。"你可以想象……这样的情景:某人出现在训练数据集里,就说明他患有亨廷顿病这类潜伏的遗传病、抑郁症,或者曾去过某家特定的专科治疗诊所,"他说。更大的数据集并不能解决问题。据《注册》对该论文的报道,数据集越大,记录越容易被暴露,而在更大的模型中,"患者层面风险变化的幅度此前并不为人所知"。

攻击者实际需要什么

MIA不是远程的、无需任何输入的攻​​击。Knolle确认,要实施这种攻击,攻击者需要拿到一个目标数据点。但这项研究也推翻了一个此前让这类攻击显得不切实际的假设:并不需要拿到完整的患者病历。"在论文中我们表明,只有部分访问权限的攻击者仍然可以成功实施MIA,"Knolle告诉《注册》。

攻击本身利用的是模型的置信度。当输入数据本来就属于训练集的一部分时,医疗AI对自己的预测往往更确定。攻击者把已经拿到的患者数据喂给模型,查看置信度水平,据此推断该患者是否在训练数据中。

"实施MIA的攻击者不需要知道他们用来做MIA的数据属于谁,"Knolle说。"事实上,我们研究中使用的所有数据集都是匿名的。"数据集是匿名的,目标数据却不是。论文报告称,这些MIA攻击在个体患者层面基本没有出错,也就是说置信度水平能准确反映某个患者的数据是否在训练集里。Knolle说,实际操作中,"攻击者只需要拿到某人的血检结果,或者其中一部分结果",就能推断出是否被纳入。弄到这些数据是剩下的障碍,而在Knolle看来,这个障碍并不大。"鉴于医疗数据并不总是被安全存储,攻击者有可能获取这些数据,这并非不可想象,比如在家庭医生做完一次常规血检后,未经授权进入其数据库,"他说。

建议与一点保留

研究人员提出了几项建议。一是采用差分隐私框架,其设计目的是在数学上保证训练数据保持匿名。二是改革隐私审计标准,使其考虑个体层面的风险,而不只是聚合隐私风险。Knolle说,第三种选择是整理医疗AI训练数据,让代表性不足的群体得到更好的体现。Knolle也给出了任何单次MIA该被看得多严重的界限。"在很多情况下,一次成功的MIA只代表很小甚至可忽略的隐私侵害,"他指出,并提到那些在庞大的一般人群中训练的AI模型,其中健康和患病人群都有代表。被问及希望这项研究达到什么目的时,Knolle说,他希望医疗AI界认真对待隐私风险,并在必要时采用风险缓解技术。

另一种失效模式

隐私并不是医疗AI唯一有据可查的弱点。今年4月,《注册》报道了发表在《JAMA Network Open》上的一项研究,该研究考察了21个主流现成AI模型在29个标准化临床病例中的表现。在获得完整医学信息组合的情况下,这些模型在最终诊断上表现不错,领先模型有91%的正确率。早期鉴别诊断则是另一回事。研究发现,这一阶段的失败率超过80%。"我们测试的每个模型在绝大多数病例上都失败了,"第一作者、哈佛医学生Arya Rao告诉《注册》。"那正是不确定性最重要的阶段,也正是这些系统最弱的地方。"

Rao补充说,严格的失败指标并不是解读数据的唯一方式。按正确病例比例计算的原始准确率在63%到78%之间,她说这表明即使模型未能给出完全正确的鉴别诊断,它们往往也部分正确。共同作者、麻省总医院放射科医生Marc Succi博士说,最终诊断上更高的成功率不应让人安心。"真正的临床推理开始得更早,那时歧义最大,而那恰恰是它们最弱的地方,"他告诉《注册》,并补充说错误的鉴别诊断可能导致治疗延误、带来并发症的不必要操作以及高额费用。

两篇论文指向同一个缺口:医疗AI如何被衡量,与它如何被使用之间的差距。一篇衡量的是聚合层面的隐私,而个体患者仍可被识别。另一篇给最终答案打分,而更早、更不确定的推理阶段仍不可靠。

评论 0

资料来源

2
  1. 01Medical diagnosis AIs can be tricked into telling whose data trained themEN
  2. 02LLMs fail in 8 out of 10 early differential diagnosis casesEN

本文所有数字与引语均来自下列来源,未添加来源之外的内容。

本内容由编辑部在人工智能辅助下制作完成。

郑雪莉

郑雪莉

科学与健康

郑雪莉负责FLASH24科学与健康版块,日常从论文预印本、期刊官网和机构通报中抓取信息,只盯数据来源和实验设计是否站得住。她习惯把每项统计数字与原始数据集交叉比对,遇到百分比先算清分母再决定是否采用。她常联系一线研究人员核实细节,也会在日历上标记大型队列研究的发布节点,提前比对不同团队的结果。私下她学材料物理,还自己架望远镜观测,这让她对测量误差和观测条件格外敏感。她有一条硬规矩:样本量、利益冲突或方法说明缺一项,稿子就不发。

编辑部 →

评论

0
  1. 还没有评论——来说两句吧。

写评论

评论公开展示。我们不发布辱骂、垃圾信息和广告内容。