跳到正文
世界时间EU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

关于人工智能与技术的门户事件 · 分析 · 访谈 · 技术背景

搜索
直播
›

研究发现:医疗AI能认出训练数据里的病人

德国研究人员在周三发表于《自然》的论文中报告,医疗诊断AI模型可以被诱导说出某位病人的数据是否用于训练过它,针对单个病人的成功率接近百分之百。这一发现出台时,美国食品药品监督管理局(FDA)、欧盟和世界卫生组织仍在制定这类设备的审核规则。

健康分析郑雪莉发布: 2026年9月27日6 分钟阅读资料来源 4
研究发现:医疗AI能认出训练数据里的病人

这种攻击叫成员推断攻击,简称MIA。《注册》报在6月24日报道,团队测试了七个医疗AI数据集,涵盖图像、心电图记录和一般电子健康记录。他们发现,被这类攻击锁定的单个病人几乎都能被认出来,研究人员称之为接近完美的攻击成功率。论文指出,标准评估协议捕捉不到这个数字,因为该协议统计的是全部记录加总后的攻击成功率。

当输入数据本来就在训练集里时,医疗AI的置信度更高。攻击者把病人数据喂给模型,读出置信度,就能判断这位病人是否属于训练队列。

论文第一作者、慕尼黑工业大学研究员Moritz Knolle对《注册》报说,攻击者不需要知道数据属于谁。"事实上,我们研究中用的所有数据集都做了匿名化处理。"他说。部分访问就够了。"攻击者只需要拿到某人的血液检测结果,或者其中一部分结果。"

离群者最容易被指认

哪些人更容易暴露,这个规律让人不安。在医疗训练数据中代表性不足的群体,比记录混在人群里的病人更容易被识别。论文把种族、保险状况、性别、所用的成像方案以及某些疾病状态列为可以充当离群特征的类别。Knolle对《注册》报的总结是:"总的来说,模型的训练队列越具体,MIA带来的隐私风险就越严重。"

他举了一个例子:训练队列暴露出某种潜伏的遗传病,比如亨廷顿病,或者抑郁症,或者曾在某家专科治疗诊所就诊。换句话说,仅仅是被包含在训练集里,诊断本身就泄露了。论文还发现,数据集越大,记录越容易被暴露;而且在更大的模型里,病人层面风险变化的幅度此前并不为人所知。

攻击者需要掌握目标人物的一些医疗数据。医疗数据泄露足够频繁,这道门槛并不高。Knolle提到一种情形:某人在常规血液检查之后,全科医生的数据库被未经授权访问。

他自述的目标很窄:希望医疗AI界认真对待隐私风险,在需要的地方采取缓解措施。论文建议采用差分隐私框架,这类框架旨在从数学上保证训练数据保持匿名,同时建议改写隐私审计标准,改为衡量个体层面的风险,而不是加总风险。他还提出另一个选项:在编制训练数据时让代表性不足的群体得到更好的体现。

监管机构还在补基础课

这件事落在了一个正在变化、但步调不齐的监管图景里。IntuitionLabs在8月18日更新的一份报告中称,按FDA的统计,到2024年中期获授权的AI和机器学习设备约有950款,每年新增授权约100款。同一份报告引用的市场分析师对AI医疗设备的估值为2024年137亿美元,并预测到2033年将超过2550亿美元。放射科在授权中占主导,心脏病学、神经病学、麻醉学和眼科学在扩张。

同一份报告指出,系统综述发现只有极小一部分获授权的AI设备有随机试验或患者结局数据支持,设备故障还与伤害有关,已报告的一例中甚至涉及死亡。报告提到一款ICU分诊工具,它对黑人患者接受额外护理的识别不足;还提到结肠镜检查研究,医生依赖AI时自己的检出率反而下降。

具体到隐私,论文要求的个体层面审计,撞上的是一个为加总报告而建的系统。据IntuitionLabs的综述,FDA的决策摘要常常省略关键的有效性和安全性细节,全球对标准的遵守也不均衡。欧盟的《人工智能法案》自2024年生效,把许多医疗AI系统列为高风险,并在《医疗器械法规》之上增加了合规工作。世界卫生组织在2023年发布了建议,涵盖透明度、数据质量和全生命周期监督。

MD+DI发表了对FDA医疗器械律师Suzanne Levy Friedman的采访。她说,她手上最新的数字是FDA已授权一千多款AI设备。没有一款内置持续学习的模型,她说。她的一些较新的客户对此感到震惊。她不震惊。

"创新让人兴奋,但人们忘了,FDA首先是一个公共卫生机构,"Friedman对MD+DI说。"他们不是想刁难,他们是想确保患者不受伤害,确保临床医生拿到正确的信息,不会不知不觉地依赖那些可能尚未经过验证的东西。"

Friedman指出两个早于这篇隐私论文就存在的缺口。软件迭代的速度快过为硬件设计的框架,一旦患者构成发生变化,真实世界的性能漂移就会击中已获验证的产品,新冠疫情期间就发生过。算法偏见与此并存,FDA要求制造商提供算法的细粒度细节,有些人觉得这过分了。

隔壁的临床证据问题

隐私不是证据基础里唯一的薄弱点。《注册》报在4月15日报道了一项发表于《JAMA Network Open》的研究,由哈佛医学生Arya Rao牵头,用29个标准化临床案例测试了21款现成的AI模型。拿到完整信息组合时,这些模型给出最终诊断的正确率为91%。而在早期鉴别诊断阶段,也就是临床医生在不确定中纳入和排除病情的阶段,失败率超过80%。

"我们测试的每一款模型在绝大多数病例上都失败了,"Rao对《注册》报说。"那是最需要处理不确定性的阶段,也正是这些系统最弱的地方。"

共同作者、马萨诸塞总医院放射科医生Marc Succi警告说,没有推理的自信本身就是一种危险,对焦虑的患者尤其如此。他还认为,最终诊断的高分可能制造一种误导性的安全感,因为真正的临床推理开始得更早,那时模糊程度最高。Rao指出,更严格的失败指标并不是解读数据的唯一方式:原始准确率在63%到78%之间,意味着模型常常部分正确。

两篇论文从不同角度指向同一个方向。一篇表明,诊断模型背后的训练数据可以被追问,从而认出里面的病人。另一篇表明,同一批模型被要求像临床医生那样推理时,恰恰在风险最高的环节上垮掉。两者问世时,本应发现这类问题的审计标准还在起草中。

Knolle的提醒值得记住。他对《注册》报说,在很多情况下,一次成功的MIA只代表很小或可忽略的隐私侵犯,也就是在包含健康人和病人的大型普通人群上训练的模型。风险集中在队列狭窄的地方,而专科医疗AI恰恰需要狭窄的队列。

评论 0

资料来源

4
  1. 01Medical diagnosis AIs can be tricked into telling whose data trained themEN
  2. 02LLMs fail in 8 out of 10 early differential diagnosis casesEN
  3. 03AI Medical Devices: 2025 Status, Regulation & ChallengesEN
  4. 04How Is FDA Regulating AI Medical Devices in 2026?EN

本文所有数字与引语均来自下列来源,未添加来源之外的内容。

本内容由编辑部在人工智能辅助下制作完成。

郑雪莉

郑雪莉

科学与健康

郑雪莉负责FLASH24科学与健康版块,日常从论文预印本、期刊官网和机构通报中抓取信息,只盯数据来源和实验设计是否站得住。她习惯把每项统计数字与原始数据集交叉比对,遇到百分比先算清分母再决定是否采用。她常联系一线研究人员核实细节,也会在日历上标记大型队列研究的发布节点,提前比对不同团队的结果。私下她学材料物理,还自己架望远镜观测,这让她对测量误差和观测条件格外敏感。她有一条硬规矩:样本量、利益冲突或方法说明缺一项,稿子就不发。

编辑部 →

评论

0
  1. 还没有评论——来说两句吧。

写评论

评论公开展示。我们不发布辱骂、垃圾信息和广告内容。