[发明专利]一种基于双判别器生成对抗网络的图像融合方法和系统

权利要求书

1.一种基于双判别器生成对抗网络的图像融合方法，其特征在于，包括：

S1.构建并训练双判别器生成对抗图像融合模型；所述双判别器生成对抗图像融合模型包括一个生成器和两个判别器，其中，生成器包括稠密特征提取融合模块、特征增强模块和解码重建模块；稠密特征提取融合模块提取并融合待融合的两帧图像的特征得到融合特征图；特征增强模块对所述融合特征图进行全局平均池化操作、两个全连接层、以及Sigmoid激活函数处理后得到特征增强系数，再利用特征增强系数与所述融合特征图进行相乘操作得到增强特征图；解码重建模块对增强特征图进行解码重建得到融合图像；

S2.将待融合的两帧图像输入双判别器生成对抗图像融合模型，生成器输出得到图像融合结果。

2.根据权利要求1所述的一种基于双判别器生成对抗网络的图像融合方法，其特征在于，生成器损失函数为：

其中，L_adv1为生成器与判别器1之间的对抗损失，L_adv2为生成器与判别器2之间的对抗损失，SSIM1和SSIM2为生成器的生成图像与图像1和图像2的结构相似系数，L_content为内容损失，α为平衡系数；

v和i分别表示待融合的两帧图像，G(v，i)表示生成器输出的融合图像，D₁(·)表示判别器1的输出，D₂(·)表示判别器2的输出，N表示批处理大小。

3.根据权利要求2所述的一种基于双判别器生成对抗网络的图像融合方法，其特征在于，解码重建模块由多个卷积层组成，每层采用批归一化处理，最后一个卷积层使用tanh激活函数，其余卷积层使用ReLU激活函数。

4.根据权利要求2所述的一种基于双判别器生成对抗网络的图像融合方法，其特征在于，每个判别器包括依次连接的多个卷积层和1个线性层。

5.根据权利要求4所述的一种基于双判别器生成对抗网络的图像融合方法，其特征在于，两个判别器损失函数定义如下：

其中，v和i分别表示待融合的两帧图像，G(v,i)表示生成器输出的融合图像，D₁(·)表示判别器1的输出，D₂(·)表示判别器2的输出，N表示批处理大小。

6.根据权利要求1-5任一项所述的一种基于双判别器生成对抗网络的图像融合方法，其特征在于，稠密特征提取融合模块由多个卷积层组成；每一层将前面所有层的输出特征在通道上进行连接作为输入。

7.一种基于双判别器生成对抗网络的图像融合系统，其特征在于，包括：

模型构建和训练模块，构建并训练双判别器生成对抗图像融合模型；所述双判别器生成对抗图像融合模型包括一个生成器和两个判别器，其中，生成器包括稠密特征提取融合模块、特征增强模块和解码重建模块；稠密特征提取融合模块提取并融合待融合的两帧图像的特征得到融合特征图；特征增强模块对所述融合特征图进行全局平均池化操作、两个全连接层、以及Sigmoid激活函数处理后得到特征增强系数，再利用特征增强系数与所述融合特征图进行相乘操作得到增强特征图；解码重建模块对增强特征图进行解码重建得到融合图像；

在线融合模块，将待融合的两帧图像输入双判别器生成对抗图像融合模型，生成器输出得到图像融合结果。

8.一种计算机可读介质，所述计算机可读介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1～6任意一项所述方法的步骤。