[发明专利]三重多尺度的CycleGAN、眼底荧光造影生成方法、计算机设备及存储介质

说明书

本发明公开了三重多尺度的CycleGAN、眼底荧光造影生成方法、计算机设备及存储介质，属于CycleGAN领域。本发明的三重多尺度的CycleGAN，输入、输出有多个尺寸，增强了两个模态域之间不同尺度的约束，提高网络的鲁棒性和域间映射能力，且基于此增加了几个多尺度判别器，确保模型可以引导生成器获得更全局的图像视图；利用质量损失在生成和重构的每个过程的深层特征之间建立约束，从而得到高质量的图像；本发明的一种三重多尺度的CycleGAN，能够利用彩色眼底图像生成更加真实的眼底荧光造影。

技术领域

本发明属于CycleGAN领域，尤其是三重多尺度的CycleGAN、眼底荧光造影生成方法、计算机设备及存储介质。

背景技术

糖尿病性视网膜病变是糖尿病性眼病最常见的一种，也是导致可预防性失明的主要原因。常见的有两种用来检测糖尿病性视网膜病变的眼底图像方式，一种为眼底荧光造影，另一种为彩色眼底图像。临床上，眼底荧光造影是一种侵入性成像，由于其增强视网膜血管可视化，使得血管造影术成为一种更适合于糖尿病性视网膜病变检测的方式，因此作为首选原则使用。然而，进行眼底荧光造影需要将荧光染料注入患者体内，存在因荧光素过敏死亡的危险。相比之下，简单易获取的彩色眼底图像，不需要辐射或药物就能产生高分辨率的视觉效果。但是，眼底荧光造影是检测糖尿病视网膜病变的最常见方法，因为病变在荧光造影中比在彩色眼底图像中有更明显的反差。因此，利用彩色眼底图像合成眼底荧光造影具有十分重要的意义。

现有的方法，主要是利用神经网络学习两个不同领域之间复杂关系，来进行图像的生成，这其中需要大量的配对图像。但是在医学图像领域内，很难找到大量的配对图像，更不要说配对的配准图像了。使用两个生成对抗网络和循环一致性损失来合成图像，并提供源图像与合成图像之间的相似性度量让在两个未配对的图像域中合成图像成为可能。但循环一致性损失是一种间接性约束，不能保证两个域之间的完美域映射。特别是对于医学图像，上述方法不能保证对合成图像的严格约束，导致缺乏具有更精细细节信息的整体框架，不能合成出更加真实的图像。

发明内容

本发明的目的在于克服上述现有技术中缺少配对图像且多使用间接约束，导致生成的眼底荧光造影图像不够真实的缺点，提供三重多尺度的CycleGAN、眼底荧光造影生成方法、计算机设备及存储介质。

为达到上述目的，本发明采用以下技术方案予以实现：

一种三重多尺度的CycleGAN，包括生成器G_A 、生成器G_B 和6个判别器 D_A0、D_A1、D_A2、D_B0、D_B1和D_B2，每个生成器对应三个判别器；

生成器G_A和生成器G_B之间设有质量损失函数，所述质量损失函数利用L1 范数来约束两个生成器的特征层；

生成器G_A和其对应的三个判别器、生成器G_B和其对应的三个判别器构成CycleGAN。

进一步的，生成器G_A和生成器G_B的底部均设有自注意力模块，自注意力模块位于生成器的编码器和解码器之间。

进一步的，所述自注意力模块包括通道注意块和空间注意块；

所述通道注意块用于捕获任何双通道映射之间的通道依赖关系以改进通道维度上的映射；

所述空间注意块用于捕获特征图的空间依赖关系，以增强空间映射，使生成器和判别器能够有效地建立分离空间区域之间的关系模型。

一种三重多尺度对抗学习的眼底荧光造影生成方法，包括以下步骤：