EU AI Act 合规与医疗诊断 AI:规则到底怎么说
医疗诊断 AI 上市的速度快过监管机构的审查速度。近期三项研究指向同一个核心问题:这些模型难以核查、难以保障安全,也难以量化。

监管要回答的问题不是 AI 能否诊断,而是有没有人能证明它诊断得有多准。相隔数月发表的两篇论文显示,这个缺口已经拉得很大。
2026 年 6 月 24 日,慕尼黑工业大学的研究人员在《Nature》上报告,用于诊断的医疗 AI 模型容易受到成员推断攻击(MIA)的影响。这类查询试图判断某位患者的记录是否出现在训练集中。The Register 当天报道了这篇论文。团队测试了七个医疗 AI 数据集,涵盖图像、心电图记录和通用电子健康记录。结论是:单个患者可以被识别出来,作者称之为接近完美的攻击成功率。
这是隐私问题,也是测量问题。研究人员的说法是,针对单个患者的接近完美成功率,并没有被标准评估协议充分捕捉,因为该协议衡量的是跨记录汇总后的攻击成功率。说白了,一份只报告平均值的审计可能完全漏掉个案。
规则要求什么,又漏掉了什么
这场讨论中被引用最多的框架是 EU AI Act,而现有材料对其操作细节着墨很少。材料真正显示出来的,是厂商使用的合规话术与同期发表的安全研究之间的落差。
一个名为 srta-ai-accountability 的 GitHub 项目自称是首个以 94% EU AI Act 合规率解决可解释 AI 中“为什么”问题的系统。它被明确标注为研究原型和概念架构。至少部分问责工具目前就是这个状态:在代码仓库上发布一个 94% 合规的说法,而没有任何监管机构为这个数字背书。
慕尼黑那篇论文指向另一个方向。作者希望改变 AI 隐私审计的报告标准,让个体层面的风险被计入,而不只是汇总风险。他们还建议采用差分隐私框架,这类框架的设计目的是用数学方式保证训练数据保持匿名。此外,他们提出在编制训练数据时让代表性不足的群体得到更好的覆盖。
第一作者 Moritz Knolle 对 The Register 说,模型的训练人群越具体,MIA 带来的隐私风险就越严重。他举例说,仅仅暴露某人属于某个训练数据集,就可能泄露此人带有亨廷顿病这类潜伏的遗传病、患有抑郁症,或者曾去某家专门的诊疗机构就诊。
监管机构必须权衡的准确率说法
诊断性能是监管问题的另一半,而这部分的数字格外混乱。
微软于 2025 年 6 月 30 日发布 AI Diagnostic Orchestrator(MAI-DxO)。GeekWire 报道称,该工具在《新英格兰医学杂志》的复杂病例上击败了来自美国和英国的 21 位资深医生,得分 85.5%,医生为 20%。WIRED 在 2025 年 7 月 1 日就此报道时给出的数字是 80% 对 20%,并称该系统通过选择更便宜的检查把成本降低了 20%。基准由 304 个近期 NEJM 病例构成。
这些数字带有一个在两篇报道中都出现的限定条件。研究中的医生不被允许咨询同事或使用外部资源,而临床医生并不是这样工作的。MIT 科学家 David Sontag 对 WIRED 说,正因如此,微软的结论应当谨慎看待,而且该系统在实际中能否降低成本还有待观察。微软自己也表示,该工具在部署前需要经过临床测试和监管批准。
然后是失败案例。2026 年 4 月 15 日,The Register 报道了《JAMA Network Open》上的一项研究,由哈佛医学生 Arya Rao 领衔。研究用 29 个标准化临床病例摘要测试了 21 个主流现成 AI 模型。在信息完整、要求给出最终诊断时,模型的正确率为 91%。但在早期鉴别诊断阶段,也就是临床医生逐一纳入和排除可能疾病的环节,它们在超过 8 成的病例中失败。
Rao 对 The Register 说,我们测试的每一个模型在绝大多数病例上都失败了。那正是不确定性最要紧的阶段,也是这些系统最薄弱的环节。
共同作者、马萨诸塞总医院放射科医生 Marc Succi 博士对同一家媒体说,没有结构化、全面的人工复核,就不应信任当今的现成模型去做面向患者的诊断推理。他还说,最终诊断上的较高成功率不应让人安心,因为真正的临床推理开始得更早,那正是歧义最大的时候。
监管机构需要测试什么
把三项发现摆在一起,审计问题就变得具体了。
- 隐私:训练集中的单个患者能以很高的成功率被识别,代表性不足的群体比其他人更容易被识别。汇总报告把这一点掩盖了。
- 性能:同一类模型可以在最终诊断上拿到 91%,却在超过 80% 的早期鉴别病例中失败。
- 基准设计:微软的头条结果来自一场人类医生无法使用日常资源的测试。
这些都不意味着医疗 AI 无法监管。它意味着现有工具测量的是错误的单位。一个汇总隐私分数、一个最终答案准确率、一次在人为约束下跑的基准,都容易发表,难以证伪。
Knolle 说,他希望医疗 AI 界开始认真对待隐私风险,并在必要之处使用风险缓解技术。他也指出,在很多情况下,一次成功的 MIA 只代表很小甚至可忽略的隐私侵害,比如在庞大而通用的人群上训练的模型。
尚未解决的问题是:由谁来判断某个模型属于哪种情况。按照 EU AI Act,这个判断应当由提供方和审计方做出,而不是论文作者,也不是一个给自己打 94 分的代码仓库。
资料来源
5- 01Medical diagnosis AIs can be tricked into telling whose data trained themEN
- 02Microsoft AI tool outperforms doctors in diagnosing complex medical casesEN
- 03Microsoft Says New AI Diagnosed Patients 4 Times More Accurately Than DoctorsEN
- 04LLMs fail in 8 out of 10 early differential diagnosis casesEN
- 05srta-ai-accountability: AI Accountability FrameworkEN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。