计算方法揭示了人工智能如何帮助医生解读医学图像
内盖夫本古里安大学的研究人员开发了一种计算方法,通过将医学图像划分为具有对人工智能重要的不同临床解释的组件,使他们能够对人工智能的“决策”进行“逆向工程”。了解人工智能模型的决策机制是破译生物过程和医疗决策的关键。
该研究结果发表在《自然通讯》杂志上。
深度学习使用人工神经网络,是一种基于人工智能的计算方法,能够通过模仿人脑的学习过程直接从数据中学习模式。使用这种基于人工智能的方法的主要缺点是无法破译神经网络决策背后的推理。
这种限制源于这样一个事实:网络的训练过程是直接根据数据自动进行的,无需人工干预。这一缺点对在生物学和医学等领域的广泛应用构成了重大障碍,在这些领域,解释的重要性不亚于机器做出正确决策的能力。
博士生 Oded Rotem 在内盖夫本古里安大学软件与信息系统工程系 Assaf Zaritsky 教授的指导下,开发了一种名为 DISCOVER 的计算方法,通过将图像分解为语义上的内容来对人工智能进行逆向工程人工智能通过其做出决策的有意义的组成部分。
研究人员与以色列初创公司 AIVF 合作,展示了该技术能够表征体外受精 (IVF) 胚胎的特征,这些特征对于人工智能做出有关胚胎视觉质量的决定最为重要
为了确保该技术可以应用于 IVF 以外的其他领域,研究人员展示了对阿尔茨海默氏症患者大脑 MRI 成像的人工智能决策的解释,甚至在标准相机捕获的图像中解释人工智能如何区分狗和猫以及男人和女人之间。
研究小组使用了由AIVF收集的数千个胚胎的丰富数据库。使用光学显微镜对胚胎进行成像,该公司的胚胎学家根据几个特征对每个胚胎进行检查和排名,例如胚胎大小和发育初始阶段胚胎周围的细胞链(临床上称为滋养外胚层)。
研究人员证明,人工智能可以像人类专家一样成功预测胚胎质量,但人工智能没有为研究人员提供哪些胚胎特征导致成功预测的线索。
“深度学习可以识别人眼在生物医学图像中无法检测到的隐藏模式。然而,这还不够——为了做出临床或科学决策,我们必须破译人工智能识别的奥秘,解释生物或临床结果。解释的重要性,并根据解释决定下一步的治疗或研究,”扎里茨基教授解释道。
DISCOVER 的可解释性机制依赖于“deepfake”生成人工智能,例如,它可以用另一个人的脸替换图像中的一个人的脸。更具体地说,第二个神经网络可以以受控方式创建胚胎的合成图像。
图像的创建基于网络中某些组件的定义,因此每个组件一方面在预测胚胎质量方面具有重要意义,另一方面对图像中有意义的部分进行编码。每个这样的组件都对图像的独特部分进行编码,假设它们将转化为清晰且独特的可解释属性。
逐渐改变这些组件,一次一个组件,可以生成胚胎图像,每个胚胎图像在一个对人工智能决策过程很重要的属性上都与真实图像不同。
因此,可以通过多种方式向专家展示相同的胚胎,以便在每幅图像中,一个属性被人为地“放大”,而图像的其余部分保持不变。这种方法允许专家解释人工智能的操作模式,并提供客观的测量结果来表明每个属性在决策中的重要性。
通过创建一系列从未存在过的胚胎的“假”图像,研究人员能够根据胚胎学家在临床上的决定来识别胚胎大小及其周围细胞链的变化。
此外,研究人员能够识别出一种新特性,人工智能在无需人类指导的情况下将其识别为胚胎质量的重要指标,即胚胎内腔的特定结构,其中含有细胞内部物质的营养物质,临床描述作为“囊胚密度”。
“胚胎学家非常清楚某些生物学特征在决定胚胎质量方面的重要性,但人眼准确测量和评估这些特征的能力往往受到限制,”AIVF 首席执行官兼临床胚胎学家 Daniela Gilboa 解释道。
“一个典型的例子是囊胚密度,这是一个对胚胎质量非常重要的特征,但在临床上并未广泛使用,因为在实验室中目视检查胚胎时很难量化。现在,借助 DISCOVER 的视觉解释,可以更准确、客观地识别和分析重要的生物特性。
“因此,我们可以改进选择在子宫中成功植入的胚胎的过程,从而增加生育治疗的成功机会。”
构思和开发该方法的博士生奥德·罗特姆 (Oded Rotem) 指出:“DISCOVER 识别和人工放大对人工智能很重要的图像模式的能力可以应用于人工智能广泛应用的生物和医学成像的其他领域。”
内盖夫本古里安大学商业化公司 BGN 的 Galit Mazuz Perlmutter 博士也指出了 DISCOVER 的内在潜力,他说:“Zaritsky 教授实验室开发的技术对各种医疗应用具有转化意义。”
本视频下方有视频中的链接,感兴趣的可以打开看看
谢谢观看本视频。要是喜欢,请订阅、点赞。谢谢
原文:https://medicalxpress.com/news/2024-09-method-ai-doctors-decipher-medical.html
More information: Oded Rotem et al, Visual interpretability of image-based classification models by generative latent space disentanglement applied to in vitro fertilization, Nature Communications (2024). DOI: 10.1038/s41467-024-51136-9
更多信息: Oded Rotem 等人,通过应用于体外受精的生成潜在空间解缠来实现基于图像的分类模型的视觉可解释性, 《自然通讯》 (2024 年)。 DOI:10.1038/s41467-024-51136-9
Journal information: Nature Communications
期刊信息: 《自然通讯》