医疗AI监管:诊断工具的研究究竟说明了什么
德国研究人员于2026年6月24日在《自然》杂志报告称,用于诊断的医疗AI模型可能被诱导泄露某位特定患者的数据是否曾用于训练它。与此同时,微软另一套系统宣称诊断准确率达到85.5%,超过医生。监管机构仍在追赶。

两项研究成果相隔约一年发表,放在一起却显得很不协调。一项说医疗AI在疑难诊断上能胜过医生。另一项说同一类模型会泄露它所学习过的患者信息。两者都指向同一个尚未解决的问题:对医疗AI的监管究竟应当要求什么?
第一项结果来自微软。据GeekWire报道,公司于2025年6月30日发布了MAI Diagnostic Orchestrator,简称MAI-DxO。测试用的是《新英格兰医学杂志》上的复杂病例,对照对象是来自美国和英国的21位经验丰富的医生。该工具在85.5%的病例中给出了正确诊断,医生的正确率为20%。
微软的基准测试测了什么,没测什么
测试集是304份近期《新英格兰医学杂志》病例研究,微软将其转化为所谓的“序贯诊断基准”。WIRED报道称,一个语言模型把每个病例拆解成医生会遵循的分步流程,随后MAI-DxO向多个前沿模型发问,包括OpenAI的GPT、谷歌的Gemini、Anthropic的Claude、Meta的Llama和xAI的Grok。整个设置意在模拟多位专家辩论。GeekWire称,MAI-DxO搭配OpenAI的o3表现最好。
WIRED给出的准确率是80%,不是85.5%,并称该系统通过安排更便宜的检查将成本降低了20%。两个数字来自同一个项目,但出自不同的报道:GeekWire引用的是85.5%,医生为20%;WIRED引用的是80%,医生同样为20%。任何人引用这项基准测试时,都应当核实自己用的是哪个数字。
“我们正朝着医疗超级智能迈出一大步,”微软AI首席执行官Mustafa Suleyman在LinkedIn的帖子中说,GeekWire引用了这番话。
外部研究人员的态度更为谨慎。麻省理工学院的科学家David Sontag对WIRED说,这篇论文在方法学上很扎实,但他提醒说,研究中的医生被要求不得使用任何额外工具,这不符合真实诊疗。斯克里普斯研究所的Eric Topol称这是一份关于复杂病例的出色报告。两人都表示,下一步验证应当开展临床试验,让该系统与治疗真实患者的真实医生同场比较。WIRED报道称,微软尚未决定是否将该工具商业化,而临床部署需要安全测试和监管批准。
让一切复杂化的隐私发现
2026年6月24日,The Register报道了德国研究人员在《自然》上发表的一篇论文。团队针对七个医疗AI数据集测试了成员推断攻击(MIA),这些数据集包含图像、心电图记录和一般电子健康记录。此类攻击通过查询模型,判断某个特定数据点是否曾出现在其训练集中。
结论是:针对单个患者,攻击的成功率被研究人员称为近乎完美。论文认为,标准评估协议之所以漏掉这一点,是因为它们只在记录层面汇总衡量攻击成功率。代表性不足的群体更容易被识别出来。种族、保险状况、性别、成像方案以及某些疾病状态都会成为异常值,使个体凸显出来。
Moritz Knolle领导慕尼黑工业大学“医疗健康与医学中的AI”教席,也是这篇论文的第一作者。他对The Register说,训练队列越具体,隐私风险就越大。他举例说,某人是否属于某个数据集,可能泄露其患有亨廷顿病这类潜伏的遗传病、抑郁症,或曾到某家专科治疗诊所就诊。
攻击存在实际限制。要实施攻击,攻击者至少需要掌握目标人物的部分数据。Knolle对The Register说,论文表明部分访问就足够了,这与早先的假设相反。他设想了一种情形:攻击者在一次常规血液检查之后,未经授权获取了全科医生的数据库。
“我希望医疗AI界开始认真对待隐私风险,并在有必要的场景中使用风险缓解技术,”Knolle说。
研究人员建议采用差分隐私框架,该框架旨在从数学上保证训练数据保持匿名。他们还建议修改隐私审计标准,使其评估个体层面的风险,而非汇总风险。此外,他们建议在汇编训练数据时让代表性不足的群体得到更好的体现。Knolle指出,许多成功的攻击只构成很小或可忽略的隐私侵害,例如模型是在包含健康人和病人的大规模普通人群上训练的。
模型在最关键的地方早早失败的证据
第三项研究给这股热情泼了冷水。2026年4月,The Register报道了发表于JAMA Network Open的一项研究,由哈佛医学生Arya Rao领导。团队用29个标准化临床案例测试了21个现成可用的AI模型。当提供完整的医疗信息并要求给出最终诊断时,领先模型的正确率为91%。而在早期鉴别诊断阶段,也就是临床医生在不确定性最高时逐一纳入和排除疾病的阶段,超过八成的情况失败。
Rao对The Register说,所有受测模型在绝大多数病例上都失败了,早期鉴别诊断正是这些系统最薄弱的环节。共同作者、马萨诸塞总医院放射科医生Marc Succi博士说,结果表明,在没有结构化、全面的人工复核的情况下,不应信任现成的LLM进行面向患者的诊断推理。他还说,这些模型可能在没有可靠推理的情况下表现出自信,这会加重患者的焦虑。
Rao也提出了一个限定条件:按照论文的严格定义判定的失败,并不总意味着模型是错的。若按每个病例中正确答案所占比例来衡量原始准确率,得分在63%到78%之间,说明模型常常部分正确。团队仍认为更严格的指标有意义,因为LLM正被当作一线工具来推销,用于在人类接手之前缩小诊断范围。
监管现状
这三篇论文都不是监管文件,本文所依据的材料中也不包含任何医疗AI规则的文本。它展示的是监管者所面对问题的轮廓。在精选病例上的诊断准确率可以看起来很漂亮,而早期推理却失败;隐私审计可以通过,而单个患者仍然可被识别。
微软的工作指向一条路:先在临床试验中验证系统,再申请批准。《自然》的论文指向另一条路:改变隐私审计的写法,并在部署前采用差分隐私等技术。JAMA的研究则指向标签和营销,认为把LLM描述为诊断主体,恰恰会在它们最不可靠的地方制造虚假的信心。
对任何阅读医疗AI产品信息的人来说,上述证据引出三个问题。它是在临床环境中对真实患者测试的,还是对已发表的病例研究测试的?它的隐私评估针对单个患者,还是只看汇总风险?它声称能诊断,还是声称辅助仍负责任的临床医生?答案通常在论文里,而不在新闻稿里。
资料来源
4- 01Medical diagnosis AIs can be tricked into telling whose data trained themEN
- 02Microsoft AI tool outperforms doctors in diagnosing complex medical casesEN
- 03Microsoft Says Its New AI System Diagnosed Patients 4 Times More Accurately Than Human DoctorsEN
- 04LLMs fail in 8 out of 10 early differential diagnosis casesEN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。