[发明专利]一种双模态视网膜图像生成方法

说明书

一种双模态视网膜图像生成方法。本发明方法包括：构造基于超分图像重建策略的双模态循环图像生成网络对原始彩色眼底图像和眼底荧光素造影图像进行迭代训练，得到生成的彩色眼底图像和眼底荧光素造影图像；构造基于补丁判别网络策略的双模态循环图像判别网络，再构造基于二分类策略的二次判别网络，进行双模态生成模型综合损失设计，将生成的彩色眼底图像和眼底荧光素造影图像对输入二次判别网络，保留隶属同一糖尿病视网膜病变级别的图像对。本发明设计的生成模型不仅可以生成拥有更多纹理细节的高分辨率彩色眼底图像和荧光素血管造影图像，还可以确保生成的两种模态图像隶属于同一疾病类别。

技术领域

本发明属于模式识别技术领域，具体涉及双模态视网膜图像生成技术。

背景技术

由于糖尿病患者的眼底病具有发病率高、致盲率高的特点，因此可通过分析视网膜眼底图像的结构和视网膜血管的形态来对糖尿病患者进行病情诊断。利用视网膜影像分析技术有助于医生对致盲性视网膜疾病实现更为早期和全面的诊断，同时能够控制该疾病的恶化程度并帮助患者避免致盲的风险。近年来，基于深度学习的视网膜图像分析与处理是近年来的研究热点，基于深度学习的计算机辅助诊断已经接近甚至达到了医疗专家的水平。然而，目前公开的医学视网膜图像数据集较少，数据集内不同类别数据分布不均衡，不利于基于深度学习的疾病诊断系统的开发。因此，生成高质量的视网膜图像数据能大大推动深度学习在医疗领域的应用，从而提高视网膜疾病自动诊断的可靠性。

发明内容

本发明的目的在于提供一种有效的双模态视网膜图像生成方法，设计一种双模态循环图像判别网络学习对应糖尿病严重程度的彩色眼底图像和荧光素血管造影图像之间的特征映射，以生成拥有更多纹理细节的高分辨率的视网膜图像，并设计二次判别网络组成以保证生成的两种模态图像隶属于同一疾病类别，具有很高的使用价值。

本发明的目的是这样实现的：

一种双模态视网膜图像生成方法，其特征是：构造基于超分图像重建策略的双模态循环图像生成网络对原始彩色眼底图像和眼底荧光素造影图像进行迭代训练，得到生成的彩色眼底图像和眼底荧光素造影图像；构造基于补丁判别网络策略的双模态循环图像判别网络，再构造基于二分类策略的二次判别网络，进行双模态生成模型综合损失设计，将生成的彩色眼底图像和眼底荧光素造影图像对输入二次判别网络，保留隶属同一糖尿病视网膜病变级别的图像对。

所述的基于超分图像重建策略的双模态循环图像生成网络，其特征是：所述的基于超分图像重建策略的双模态循环图像生成网络学习对应糖尿病严重程度的彩色眼底图像和荧光素血管造影图像之间的特征映射，网络由两个判别网络和两个生成网络组成，两个生成网络结构保持并且权值共享，同时，两个判别网络结构也保持并且权值共享。

本发明采用SRGAN的超分辨率生成器替换循环网络CycleGAN的生成器，为了增加网络容量，本发明采用三个密集块替代原SRGAN中的基本块，并通过乘一个0到1之间的常数缩小残差，防止模型训练的不稳定性，三个密集残差块连接结构。同时，采用实例归一化层替换原网络中的批量归一化层，实例归一化加速模型收敛，并保持每个图像实例之间的风格独立，以获得纹理细节更丰富、视觉效果更自然的彩色眼底图像和荧光素血管造影图像。

所述的基于补丁判别网络策略的双模态循环图像判别网络，其特征是：所述的双模态循环图像判别网络由7层核为4×4的卷积层和一个全连接层组成，这和传统的4层PatchGAN相比有着更深的网络层数，这样可以提取更深层的语义信息，且增加的层数有限，不至于使判别网络过强。