[发明专利]基于病灶注意条件生成对抗网络的视网膜图像合成方法

说明书

本发明公开了基于病灶注意条件生成对抗网络的视网膜图像合成方法，所述方法包括：获取视网膜血管掩膜图；将所述视网膜血管掩膜图输入到已训练的基于病灶注意条件生成对抗网络，得到视网膜合成图像。本发明通过基于病灶注意条件生成对抗网络得到的视网膜合成图像，可以增强合成图像的病灶细节，提高合成图像的多样性，增强高分辨率图像的疾病识别效果。

技术领域

本发明涉及图像处理技术领域，尤其涉及的是基于病灶注意条件生成对抗网络的视网膜图像合成方法。

背景技术

彩色眼底照相术是目前用于检测视网膜病变的最经济、非侵入性的成像方式。其广泛的可用性使其成为评估多种眼科疾病的理想选择。目前，常规眼底照相机已经广泛用于检测视网膜病变，尽管它存在一些局限性。例如，常规的眼底图像仅包括视网膜中央30度到60度的区域。与之相比，基于Optos照相机的超广角(UWF)视网膜图像的范围是200度，包含了视网膜80％的区域。它允许更多来自视网膜周边区域的临床相关病变被检测到，这一点对在周边视网膜发生变异的病灶很重要，如视网膜变性、脱离、出血、渗出等。深度学习已经成功应用于常规眼底图像的筛查，在各种视网膜疾病的检测中取得了良好的效果。近年来，深度学习也应用于UWF眼底图像。然而基于UWF图像的自动诊断依然存在一些挑战。首先，某些病变信息与全局图像相比显得非常小，这使得病灶区域非常不明显。其次，有限的样本容易导致过拟合，使得模型在新的数据集中性能下降。为了缓解上述问题，许多研究人员基于生成对抗网络(GAN)开发了很多有用的解决方案。使用GAN来合成训练样本以弥补原数据集的不足，可以有效的增强图像样本。然而，典型的GAN仅在低分辨率图像上取得了较好的效果，对于高分辨率图像还存在缺陷。

因此，现有技术还有待改进和发展。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于病灶注意条件生成对抗网络的视网膜图像合成方法，旨在解决现有技术中视网膜合成图像的病灶细节模糊，视网膜合成图像样本单一不足的问题。

本发明解决问题所采用的技术方案如下：

第一方面，本发明实施例提供一种基于病灶注意条件生成对抗网络的视网膜图像合成方法，其中，所述方法包括：

获取视网膜血管掩膜图；

将所述视网膜血管掩膜图输入到已训练的基于病灶注意条件生成对抗网络，得到视网膜合成图像。

在一种实现方式中，其中，所述基于病灶注意条件生成对抗网络包括生成器、权重共享的多输出判别器、随机森林分类器、反向激活网络和注意力模块，其中，所述权重共享的多输出判别器输出疾病判别结果和疾病分类结果；所述随机森林分类器用于识别所述权重共享的多输出判别器输出的疾病分类结果的病灶特征；所述反向激活网络用于激活所述病灶特征；所述注意力模块用于将所述病灶特征融合到生成器的解码器中。

在一种实现方式中，其中，所述随机森林分类器用于识别所述权重共享的多输出判别器输出的疾病分类结果的病灶特征具体为：

所述随机森林分类器用于通过统计所述权重共享的多输出判别器输出的疾病分类结果中的分类特征频率得到病灶特征。

在一种实现方式中，其中，所述基于病灶注意条件生成对抗网络的训练过程包括：

获取随机高斯噪声向量；

获取训练样本，其中，所述训练样本包括真实视网膜图像、视网膜血管掩膜和疾病分类标签，所述视网膜血管掩膜根据所述真实视网膜图像变换得到；

将所述随机高斯噪声向量、所述视网膜血管掩膜和所述真实视网膜图像输入至第一网络模型，通过所述第一网络模型输出与所述真实视网膜图像对应的预测疾病分类结果；

根据所述疾病分类标签和所述预测疾病分类结果，得到损失函数；