Google AI 医学影像模型
以下内容来自原文（节选）的翻译
2024 年 6 月 5 日
Oran Lang，Google Research 软件工程师，Heather Cole-Lewis，健康公平临床科学家，Google Core
我们提出了一个框架，用于理解医学成像中的人工智能模型，利用生成人工智能和跨学科专家评审来识别和解释与模型预测相关的视觉线索。
机器学习 (ML) 有潜力彻底改变医疗保健，从减少工作量和提高效率到发现新的生物标志物和疾病信号。为了负责任地利用这些好处，研究人员采用可解释性技术来了解机器学习模型如何进行预测。然而，当前基于显着性的方法突出了重要的图像区域，通常无法解释特定的视觉变化如何驱动机器学习决策。可视化这些变化（我们称之为“属性”）有助于询问通过定量指标不容易明显看出的偏见方面，例如如何策划数据集、如何训练模型、问题制定和人机交互。这些可视化还可以帮助研究人员了解这些机制是否可能代表进一步研究的新见解。
在《柳叶刀 eBioMedicine》上发表的“使用生成式 AI 研究医学影像模型和数据集”中，我们探索了生成模型在增强我们对医学成像 ML 模型的理解方面的潜力。基于之前发布的 StylEx 方法（该方法可生成分类器的视觉解释），我们的目标是开发一种可广泛应用于医学成像研究的通用方法。为了测试我们的方法，我们根据最新的科学文献选择了三种成像方式（外眼照片、眼底照片和胸部 X 光片 [CXR]）和八个预测任务。其中包括作为“阳性对照”的既定临床任务，其中已知属性有助于预测，以及临床医生未经培训执行的任务。对于外眼照片，我们检查了能够从眼睛前部图像中检测疾病迹象的分类器。对于眼底照片，我们检查了分类器，这些分类器在预测心血管危险因素方面显示出令人惊讶的结果。此外，对于 CXR，我们检查了异常分类器以及预测种族的令人惊讶的能力。
用于研究医学影像模型和数据集的 GenAI 框架
我们的框架分为四个关键阶段：
分类器训练：
我们训练机器学习分类器模型来执行特定的医学成像任务，例如检测疾病迹象。此步骤后模型将被冻结。如果感兴趣的模型已经可用，则可以在冻结状态下使用它，而不需要进一步修改该模型。
StylEx 培训：
然后，我们训练一个 StylEx 生成模型，其中包括一个基于 StyleGAN-v2 的图像生成器，具有两个额外的损失。第一个附加损失是自动编码器损失，它教会生成器创建与输入图像相似的输出图像。第二个损失是分类器损失，它促使生成图像的分类器概率与输入图像的分类器概率相同。总之，这些损失使生成器能够生成看起来逼真并保留分类器预测的图像。
自动属性选择：
我们使用 StylEx 模型通过为一组图像创建反事实可视化来自动生成视觉属性。每个反事实可视化都基于真实图像，但使用 StylEx 生成器进行修改，同时一次更改一个属性（请参见下面的动画）。然后，对属性进行过滤和排序，以保留对分类器决策影响最大的属性。
专家组评审：
最后，包括相关临床专家、社会科学家等在内的跨学科专家小组分析所确定的属性，并在其医学和社会背景下对其进行解释。
结论
我们的研究证明了生成模型在增强医学成像中机器学习模型的可解释性方面的潜力。通过将技术进步与跨学科专业知识相结合，我们可以负责任地利用人工智能来发现新知识、改进医疗诊断并解决医疗保健中的偏见。我们鼓励在这一领域进行进一步的研究，并强调机器学习研究人员、临床医生和社会科学家之间合作的重要性。
如果想详细了解，可以点开视频下方的链接。
谢谢观看本视频。要是喜欢，请订阅、点赞。谢谢
原文：https://research.google/blog/using-generative-ai-to-investigate-medical-imagery-models-and-datasets/
