[发明专利]一种双模态视网膜图像生成方法

权利要求书

1.一种双模态视网膜图像生成方法，其特征是：构造基于超分图像重建策略的双模态循环图像生成网络对原始彩色眼底图像和眼底荧光素造影图像进行迭代训练，得到生成的彩色眼底图像和眼底荧光素造影图像；构造基于补丁判别网络策略的双模态循环图像判别网络，再构造基于二分类策略的二次判别网络，进行双模态生成模型综合损失设计，将生成的彩色眼底图像和眼底荧光素造影图像对输入二次判别网络，保留隶属同一糖尿病视网膜病变级别的图像对。

2.根据权利要求1所述的基于超分图像重建策略的双模态循环图像生成网络，其特征是：所述的基于超分图像重建策略的双模态循环图像生成网络学习对应糖尿病严重程度的彩色眼底图像和荧光素血管造影图像之间的特征映射，网络由两个判别网络和两个生成网络组成，两个生成网络结构保持并且权值共享，同时，两个判别网络结构也保持并且权值共享；

本发明采用SRGAN的超分辨率生成器替换循环网络CycleGAN的生成器，为了增加网络容量，本发明采用三个密集块替代原SRGAN中的基本块，并通过乘一个0到1之间的常数缩小残差，防止模型训练的不稳定性，三个密集残差块连接结构；同时，采用实例归一化层替换原网络中的批量归一化层，实例归一化加速模型收敛，并保持每个图像实例之间的风格独立，以获得纹理细节更丰富、视觉效果更自然的彩色眼底图像和荧光素血管造影图像；

所述的基于补丁判别网络策略的双模态循环图像判别网络，其特征是：所述的双模态循环图像判别网络由7层核为4×4的卷积层和一个全连接层组成，这和传统的4层PatchGAN相比有着更深的网络层数，这样可以提取更深层的语义信息，且增加的层数有限，不至于使判别网络过强；

所述的基于二分类策略的二次判别网络，其特征是：所述的基于二分类策略的二次判别网络用于判别生成的一组图像是否隶属于同严重程度的糖尿病，该网络也可用于对任意生成的图像与真实图像是否属于同一DR级别进行判断；将真实彩色眼底图像和荧光素血管造影图像拼接送到神经网络中，同标签的图像作为正样本，不同标签的图像作为负样本，对于拥有同样标签的彩色眼底图像和荧光素血管造影图像，网络输出1，反之输出0；再使用训练好的二次判别网络对生成的图像对进行筛选，确保获得的彩色眼底图像和荧光素血管造影图像级别相同；

所述的双模态生成模型综合损失设计，其特征是：为了综合考虑生成图像与目标图像的高度相似性及对应纹理细节的准确生成，本发明设计的训练损失由四个部分组成，分别为对抗损失、循环损失/、感知损失/和二次判别损失/，则模型总体损失函数L可表示如下：

其中，、/、/为超参数，用来控制每个损失的作用程度；

本发明的对抗损失函数有两个函数映射/、/，以生成网络/为例，假设彩色眼底图像为域A，荧光素血管造影图像为域B，/具体表达如下：

/

为生成的荧光素血管造影图像，a表示输入的真实彩色眼底图像，/为判别网络B，同样的得到/，由此可以得到两者的和/；

为了进一步减少可能映射的函数空间，参考CycleGAN的做法使用循环性损失，对于域A的图像，以此通过生成网络和/的平移循环应该可以把域A中的图像a重新带回域A，所以循环性损失为：

其中，b表示真实荧光素血管造影图像；

由于视网膜图像具有显著的纹理特征，发明采用感知损失来更好的重建图像纹理细节；用表示表示VGG19网络中第i个maxpooling层之前的第j个卷积激活层前得到的特征映射，然后将其定义为重建图像特征表示生成图像与真实图像之间的欧氏距离，以/为例，/表示为：

其中，和/为特征映射/的维度；同理可得/的另一部分；

因为二次判别网络的目标是判别生成的图像对是否和同标签的对应彩色眼底图像和荧光素血管造影图像特征保持，因此发明使用二分类交叉熵损失度量生成图像，函数表达如下：

其中y是样本标签，如果生成图像属于同严重程度的糖尿病，取值为1，否则取值为0，是输入隶属于同类疾病图像对的概率，/为/权值衰减项，用以提高模型泛化能力。/