[发明专利]一种基于双判别器生成对抗网络的图像融合方法和系统

说明书

本发明公开了一种基于双判别器生成对抗网络的图像融合方法和系统，属于计算机视觉领域。方法包括，构建并训练双判别器生成对抗图像融合模型；其中，生成器包括稠密特征提取融合模块、特征增强模块和解码重建模块；稠密特征提取融合模块提取并融合待融合的两帧图像的特征得到融合特征图；特征增强模块对所述融合特征图进行全局平均池化操作、两个全连接层、以及Sigmoid激活函数处理后得到特征增强系数，再利用特征增强系数与所述融合特征图进行相乘操作得到增强特征图；解码重建模块对增强特征图进行解码重建得到融合图像。本发明有效保留了不同源图像中的信息，同时提高了生成器的拟合建模不同源图像融合的能力，提高了融合图像质量。

技术领域

本发明属于计算机视觉领域，更具体地，涉及一种基于双判别器生成对抗网络的图像融合方法和系统。

背景技术

随着传感器技术的迅速发展，可见光、红外、激光雷达等不同类型的传感器被广泛地应用在目标检测、追踪和监控预警等系统中。不同类型传感器获取的信息不同，单个传感器无法提供某些应用任务所需的全部信息。利用图像融合技术对不同来源的传感器信息进行融合，以提高后续处理任务的性能，是重要的研究方向之一。

传统图像融合方法中，采用人工设计算法提取图像特征进行融合，难以获得不同类型传感器图像的有效特征表达，特征融合策略粗糙，难以有效保留不同传感器图像中的特定信息，图像融合性能有限。基于深度学习的图像融合方法，利用深度学习网络的层次化分布式特征表达能力，自适应地提取图像特征以获得活动水平测量和融合权重，有利于提高融合图像质量。然而，图像融合缺少真实值，这使得难以采用监督学习方法训练深度学习网络，也难以有效保留不同源图像中的特定信息。生成对抗网络利用深度学习网络的拟合能力隐式地建模生成过程，利用判别器进行监督训练，是一种有效的生成图像的方法。然而，在应用于图像融合中，如何设计生成器网络模型、损失函数和训练方法，既能拟合不同源图像融合的模型，又能有效保留不同源图像中的特定信息，提高融合图像质量，是有待解决的问题。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于双判别器生成对抗网络的图像融合方法和系统，其目的在于解决基于生成对抗网络的图像融合方法中生成器网络模型难以有效拟合不同源图像融合的模型同时保留不同源图像中特定信息的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种基于双判别器生成对抗网络的图像融合方法，包括：

S1.构建并训练双判别器生成对抗图像融合模型；所述双判别器生成对抗图像融合模型包括一个生成器和两个判别器，其中，生成器包括稠密特征提取融合模块、特征增强模块和解码重建模块；稠密特征提取融合模块提取并融合待融合的两帧图像的特征得到融合特征图；特征增强模块对所述融合特征图进行全局平均池化操作、两个全连接层、以及Sigmoid激活函数处理后得到特征增强系数，再利用特征增强系数与所述融合特征图进行相乘操作得到增强特征图；解码重建模块对增强特征图进行解码重建得到融合图像；

S2.将待融合的两帧图像输入双判别器生成对抗图像融合模型，生成器输出得到图像融合结果。

进一步地，生成器损失函数为：

其中，L_adv1为生成器与判别器1之间的对抗损失，L_adv2为生成器与判别器2之间的对抗损失，SSIM1和SSIM2为生成器的生成图像与图像1和图像2的结构相似系数，L_content为内容损失，α为平衡系数；

v和i分别表示待融合的两帧图像，G(v,i)表示生成器输出的融合图像，D₁(·)表示判别器1的输出，D₂(·)表示判别器2的输出，N表示批处理大小。