跳到正文
世界时间EU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

关于人工智能与技术的门户事件 · 分析 · 访谈 · 技术背景

搜索
直播
›

AI诊断受审视:患者数据被泄露,大语言模型八成病例失败

2026年发表的两项研究显示,医学诊断AI可能被诱导说出哪些患者的数据曾用于训练它。研究还显示,主流语言模型在八成以上的病例中无法完成早期鉴别诊断。

健康解释郑雪莉发布: 2026年9月28日5 分钟阅读资料来源 4
AI诊断受审视:患者数据被泄露,大语言模型八成病例失败

2026年发表的两项研究,勾勒出AI医学诊断令人不安的图景。一项显示,诊断模型会泄露训练数据中患者的身份。另一项显示,大型语言模型在临床推理的早期阶段,八成以上病例都失败。人们用来查询自身症状的,正是这类工具。The Register对这两篇论文都作了报道。

据The Register报道,隐私问题出自2026年6月24日星期三发表在Nature上的一篇论文。德国研究人员测试了七个医学AI数据集,其中包含影像、心电图记录和一般电子健康记录。他们发现,判别式模型尤其容易受到成员推断攻击(MIA)的影响。这类模型对数据分类并作出预测。攻击者向模型查询,判断某个特定数据点是否属于训练集。团队报告称,单个患者可以被识别出来,攻击成功率“接近完美”。研究人员认为,标准评估流程捕捉不到这样的成功率,因为这类流程只在记录层面汇总统计攻击成功率。他们由此得出结论:AI隐私审计的报告标准需要修改。

在训练数据中占比低的患者更容易被识别

同一篇论文指出,在医学AI训练数据中占比偏低的患者更容易被识别,比数据不突出的患者更容易。The Register列出了可能构成离群类别的因素:种族、保险状况、性别、成像方案以及某些疾病状态。这些因素让个体更容易被指认出来。

Moritz Knolle是慕尼黑工业大学医疗健康与医学AI讲席教授,也是这篇论文的第一作者。“总的来说,模型的训练队列越特殊,MIA带来的隐私风险就越严重。”他在邮件中对The Register说。他描述了这样几种情形:某人是否属于某个训练数据集,可能暴露他带有亨廷顿病这类休眠遗传病、患有抑郁症,或曾在某家专门治疗机构就诊。

攻击本身利用的是机器学习模型的一个简单特性:当输入数据属于训练集时,模型往往更有把握。攻击者手里有患者的部分数据,就能把它喂给模型,观察置信度水平,从而判断该患者是否被纳入训练。Knolle说,论文表明攻击者并不需要完整获取某个患者的数据点,这与过去的看法相反。“我们在论文中证明,只有部分访问权限的攻击者仍然可以成功实施MIA。”他对The Register说。

“我希望医学AI界开始认真对待隐私风险,在必要的情况下使用风险缓解技术。”Moritz Knolle,慕尼黑工业大学

研究人员建议采用差分隐私框架,这类框架旨在用数学方式保证训练数据保持匿名。他们还希望隐私审计标准考虑个体层面的风险,而不只是汇总数字。Knolle说,另一种做法是整理训练数据,让占比偏低的群体得到更好的代表。“在很多情况下,一次成功的MIA只构成很小甚至可以忽略的隐私侵害。”他指出。他指的是在包含健康人和病人的大规模普通人群上训练的模型。

语言模型早期就失败,却显得很有把握

另外,2026年4月发表在JAMA Network Open上的研究发现,21个主流现成AI模型在八成以上的病例中无法完成早期鉴别诊断。The Register于2026年4月15日报道了这项研究。研究用29个标准化临床病例对模型进行测试。当给出完整的医学信息并要求作出最终诊断时,模型表现不错,主流模型的正确率为91%。但早期鉴别诊断是临床医生权衡各种可能、逐一排除疾病的阶段,在这一阶段,失败率超过80%。

Arya Rao是哈佛医学院学生,领导了这项研究。“我们测试的每个模型在绝大多数病例上都失败了。”他在邮件中对The Register说。“那正是不确定性最重要的阶段,也正是这些系统最薄弱的地方。”

Rao指出,失败并不总意味着答案完全错误。按原始准确率即答对比例衡量,模型的成绩在63%到78%之间。但团队认为,更严格的失败指标仍然重要。AI工具被宣传为一线代理,用来缩小诊断范围。“把大语言模型宣传为诊断代理,恰恰可能在它们最不可靠的地方制造虚假的信心。”研究人员写道。

Marc Succi医生是麻省总医院放射科医生,也是论文的合著者。他对The Register说,最终诊断成功率更高不应让人放心。“真正的临床推理从更早开始,那时模糊程度最高,而这恰恰是它们最弱的地方。”他说。他警告说,错误的鉴别诊断可能导致治疗延误、不必要的检查、高昂费用等后果。

两篇论文所处的监管环境仍在追赶。根据IntuitionLabs发布的一份行业分析,截至2024年年中,美国食品药品监督管理局(FDA)已批准约950款AI医疗设备。同一份分析指出,获批的AI设备中只有极少数有随机试验或患者结局数据支持。分析还提到,FDA于2024年12月发布了预定变更控制计划指南。

MD+DI发表了对FDA医疗器械律师Suzanne Levy Friedman的采访。采访指出,尽管FDA批准的AI设备超过一千款,其中没有一款内置持续学习的模型。Friedman说,该机构正在研究通往这一目标的路径。但作为公共卫生机构,它的首要使命意味着必须在创新与风险之间权衡。风险在于临床医生依赖可能未经验证的工具。

这两篇研究论文表明,验证不只看模型能否给出正确的最终答案,还要看它能否保守患者的身份秘密,以及它能否在诊断尚未明确时处理不确定性。

评论 0

资料来源

4
  1. 01Medical diagnosis AIs can be tricked into telling whose data trained themEN
  2. 02LLMs fail in 8 out of 10 early differential diagnosis casesEN
  3. 03AI Medical Devices: 2025 Status, Regulation & ChallengesEN
  4. 04How Is FDA Regulating AI Medical Devices in 2026?EN

本文所有数字与引语均来自下列来源,未添加来源之外的内容。

本内容由编辑部在人工智能辅助下制作完成。

郑雪莉

郑雪莉

科学与健康

郑雪莉负责FLASH24科学与健康版块,日常从论文预印本、期刊官网和机构通报中抓取信息,只盯数据来源和实验设计是否站得住。她习惯把每项统计数字与原始数据集交叉比对,遇到百分比先算清分母再决定是否采用。她常联系一线研究人员核实细节,也会在日历上标记大型队列研究的发布节点,提前比对不同团队的结果。私下她学材料物理,还自己架望远镜观测,这让她对测量误差和观测条件格外敏感。她有一条硬规矩:样本量、利益冲突或方法说明缺一项,稿子就不发。

编辑部 →

评论

0
  1. 还没有评论——来说两句吧。

写评论

评论公开展示。我们不发布辱骂、垃圾信息和广告内容。