[发明专利]一种基于生成对抗网络的图像融合方法、系统及存储介质

权利要求书

1.一种基于生成对抗网络的图像融合方法，其特征在于，包括步骤：

利用样本集预训练模糊区域识别模型，所述模糊区域识别模型的输出为对所述样本集中每张图像样本标记出模糊区域的掩码图像，其中，所述样本集中包括目标进行成像采集的多张不同焦点的图像样本以及对目标的多张不同焦点的所述图像样本进行多层融合得到的融合图像标签I_r；

将所述图像样本与对应的所述掩码图像堆叠而成的多通道图像输入到基于生成对抗网络的融合模型进行训练，所述融合模型包括生成器和判别器，所述生成器输出融合图像I_f，将所述融合图像标签I_r和所述融合图像I_f输入到所述判别器进行对抗训练；

所述对抗训练中，将融合图像I_f和融合图像标签I_r输入判别器，输出概率值图像，对所述概率值图像中每个像素点计算交叉熵，然后取所有像素点交叉熵的最大值作为所述判别器的损失；

将待融合的图像输入到训练好的所述模糊区域识别模型和所述融合模型，生成融合图像。

2.如权利要求1所述的一种基于生成对抗网络的图像融合方法，其特征在于，所述利用所述样本集预训练模糊区域识别模型包括步骤：

从所述样本集中选取图像样本，对选取的图像样本的模糊区域进行手工标记，手工标记后的图像样本构成了标记数据集；

从所述融合图像标签I_r中选取图像样本，在选取的图像样本上选取随机区域进行高斯模糊，经过高斯模糊后的图像样本构成了退化数据集；

利用所述标记数据集和退化数据集预训练模糊区域识别模型。

3.如权利要求1或2所述的一种基于生成对抗网络的图像融合方法，其特征在于，所述模糊区域识别模型为以残差模块与空洞卷积模块构成的语义分割网络。

4.如权利要求3所述的一种基于生成对抗网络的图像融合方法，其特征在于，所述预训练模糊区域识别模型中，将所述标记数据集与所述退化数据集混合作为每一轮训练的数据，在每轮训练前，将训练数据集做一次随机打乱操作。

5.如权利要求1或2所述的一种基于生成对抗网络的图像融合方法，其特征在于，所述生成器由编码模块、底层卷积模块与解码模块串联构成，所述编码模块与解码模块均由残差密集连接模块堆叠而成；

所述判别器由八个带线性激活函数的卷积层、一个最大池化层和一个线性激活层串联构成。

6.如权利要求5所述的一种基于生成对抗网络的图像融合方法，其特征在于，所述生成器的损失由内容损失和判别器反馈的对抗损失以一定比例的权重加和构成。

7.如权利要求1或2所述的一种基于生成对抗网络的图像融合方法，其特征在于，所述待融合的图像为病理切片图像。

8.一种基于生成对抗网络的图像融合系统，其特征在于，包括：

模糊区域识别模型训练模块，用于利用样本集预训练模糊区域识别模型，所述模糊区域识别模型的输出为对所述样本集中每张图像样本标记出模糊区域的掩码图像，其中，所述样本集中包括目标进行成像采集的多张不同焦点的图像样本以及对目标的多张不同焦点的所述图像样本进行多层融合得到的融合图像标签I_r；

融合模型训练模块，将所述图像样本与对应的所述掩码图像堆叠而成的多通道图像输入到基于生成对抗网络的融合模型进行训练，所述融合模型包括生成器和判别器，所述生成器输出融合图像I_f，将所述融合图像标签I_r和所述融合图像I_f输入到所述判别器进行对抗训练；

融合模块，用于将待融合的图像输入到训练好的所述模糊区域识别模型和所述融合模型，生成融合图像。