[发明专利]眼底图像生成方法、装置、设备以及存储介质

权利要求书

1.一种眼底图像生成方法，包括：

获取第一真实眼底图像、第二真实眼底图像和第三真实眼底图像；

从所述第一真实眼底图像提取眼底血管掩膜；

从所述第二真实眼底图像提取眼底病灶掩膜；

将所述第三真实眼底图像、所述眼底血管掩膜和所述眼底病灶掩膜输入生成网络，生成仿真眼底图像；

其中，所述从所述第一真实眼底图像提取眼底血管掩膜，包括：

将所述第一真实眼底图像输入至第一深度学习分割网络，输出眼底血管得分图，其中，所述眼底血管得分图中的得分表征对应的像素点属于眼底血管的分数；

对所述眼底血管得分图进行阈值化分割，得到所述眼底血管掩膜；

其中，所述第一深度学习分割网络包括第一特征提取卷积层、第一上采样反卷积层、第一共享卷积层和第一像素分类卷积层；以及

所述将所述第一真实眼底图像输入至第一深度学习分割网络，输出眼底血管得分图，包括：

将所述第一真实眼底图像输入至所述第一特征提取卷积层；

将所述第一特征提取卷积层的输出前向传播至所述第一上采样反卷积层和所述第一共享卷积层；

将所述第一共享卷积层的输出融合进所述第一上采样反卷积层；

将所述第一上采样反卷积层的输出输入至所述第一像素分类卷积层，输出所述眼底血管得分图；

其中，所述从所述第二真实眼底图像提取眼底病灶掩膜，包括：

将所述第二真实眼底图像输入至第二深度学习分割网络，输出眼底病灶得分图，其中，所述眼底病灶得分图中的得分表征对应的像素点属于每类眼底病灶的分数；

对所述眼底病灶得分图进行阈值化分割，得到所述眼底病灶掩膜；

其中，所述第二深度学习分割网络包括第二特征提取卷积层、第二上采样反卷积层、第二共享卷积层和第二像素分类卷积层；以及

所述将所述第二真实眼底图像输入至第二深度学习分割网络，输出眼底病灶得分图，包括：

将所述第二真实眼底图像输入至所述第二特征提取卷积层；

将所述第二特征提取卷积层的输出前向传播至所述第二上采样反卷积层和所述第二共享卷积层；

将所述第二共享卷积层的输出融合进所述第二上采样反卷积层；

将所述第二上采样反卷积层的输出输入至所述第二像素分类卷积层，输出所述眼底病灶得分图；

其中，所述生成网络包括第三深度学习分割网络、第四深度学习分割网络和第五深度学习分割网络；以及

所述将所述第三真实眼底图像、所述眼底血管掩膜和所述眼底病灶掩膜输入生成网络，生成仿真眼底图像，包括：

将所述第三真实眼底图像输入至所述第三深度学习分割网络，将所述眼底血管掩膜和随机噪声输入至所述第四深度学习分割网络，以及将所述眼底病灶掩膜输入至所述第五深度学习分割网络；

将所述第三深度学习分割网络和所述第五深度学习分割网络的特征提取层的输出逐层融合到所述第四深度学习分割网络中进行上采样，输出所述仿真眼底图像。

2.根据权利要求1所述的方法，其中，所述方法还包括：

将所述仿真眼底图像输入至第六深度学习分割网络，输出仿真眼底血管掩膜和仿真眼底病灶掩膜；

将所述眼底血管掩膜和所述仿真眼底血管掩膜，以及所述眼底病灶掩膜和所述仿真眼底病灶掩膜分别输入至分割损失函数，计算分割损失；

基于所述分割损失对所述生成网络进行训练。

3.根据权利要求2所述的方法，其中，所述方法还包括：

将所述仿真眼底图像和第四真实眼底图像分别输入至判别网络，得到所述仿真眼底图像和所述第四真实眼底图像的置信度；

将所述仿真眼底图像的类别标签和置信度，以及所述第四真实眼底图像的类别标签和置信度分别输入至生成对抗网络的损失函数，计算所述生成对抗网络的损失；

基于所述生成对抗网络的损失交替训练所述判别网络和所述生成网络。

4.根据权利要求3所述的方法，其中，每次训练所述判别网络的次数是训练所述生成网络的预设倍。

5.根据权利要求1所述的方法，其中，训练所述第一深度学习分割网络或所述第二深度学习分割网络的优化损失函数是二元加权交叉熵损失函数联合分割损失函数。