[发明专利]基于生成对抗式双通道权重分配的图像融合方法及装置

说明书

本发明提供了一种基于生成对抗式双通道权重分配的图像融合方法及装置，其方法包括：构建初始图像融合模型，包括生成器模块和孪生鉴别器模块，生成器模块包括伪孪生特征提取模块和特征融合模块；获取红外图像样本和可见光图像样本，并基于伪孪生特征提取模块获得红外特征图和可见光特征图；基于特征融合模块生成融合特征图；基于孪生鉴别模块分别获得融合特征图与红外图像样本的第一相似度及与可见光图像样本的第二相似度；对初始图像融合模型进行训练，获得目标图像融合模型；基于目标图像融合模型对待融合红外图像和待融合可见光图像进行融合，获得目标融合图像。本发明可获得具有清晰目标和丰富细节纹理的目标融合图像。

技术领域

本发明涉及计算机视觉和图像处理技术领域，具体涉及一种基于生成对抗式双通道权重分配的图像融合方法及装置。

背景技术

图像融合是从不同传感器采集的图像中提取有意义的信息，然后将其组合生成单个图像，该图像包含更丰富的信息并且更有利于后续应用。其中，红外图像和可见光图像融合应用最为广泛。可见光图像由捕获反射光的可见光传感器生成，其特点是纹理细节信息丰富，符合人眼观察规律。红外传感器可以感知红外波段并进行转换为热辐射信息生成灰度图像。红外图像具有明显的对比度，即使在夜间和恶劣天气下也能有效区分背景和目标。

图像融合的关键是提取和重建最有意义的信息。对于可见光图像和红外图像融合，最有意义的信息是显著的对比度和丰富的纹理信息。为了实现这一目标，研究人员提出了许多融合方法，这些方法可以分为传统方法和基于深度学习的方法。传统方法是通过测量空间域或变换域像素或者区域的活动程度，根据特定的融合规则来实现图像融合。典型的传统方法是基于稀疏表示的方法、基于多尺度变换的方法、基于子空间的方法、基于显著性的方法和混合方法。基于深度学习的方法利用神经网络强大的非线性拟合的能力，使得融合后的图像具有理想的分布，但是目前的融合方法生成的融合图像很难平衡红外图像与可见光图像的信息，从而导致融合图像偏向于某一源图像。

因此，急需提出一种基于生成对抗式双通道权重分配的图像融合方法和装置，解决现有技术中存在的很难平衡红外图像与可见光图像的信息，导致无法获得具有均衡信息的融合图像的技术问题。

发明内容

有鉴于此，有必要提供一种基于生成对抗式双通道权重分配的图像融合方法和装置，用以解决现有技术中存在的很难平衡红外图像与可见光图像的信息，导致无法获得具有均衡信息的融合图像的技术问题。

一方面，本发明提供了一种基于生成对抗式双通道权重分配的图像融合方法，包括：

构建初始图像融合模型，所述初始图像融合模型包括生成器模块和孪生鉴别器模块，所述生成器模块包括伪孪生特征提取模块和特征融合模块；

获取红外图像样本和可见光图像样本，并基于所述伪孪生特征提取模块分别提取所述红外图像样本和所述可见光图像样本的特征，对应获得红外特征图和可见光特征图；

基于所述特征融合模块将所述红外特征图和所述可见光特征图进行融合，生成融合特征图；

基于所述孪生鉴别模块分别获得所述红外图像样本与所述融合特征图的第一相似度以及所述可见光图像样本与所述融合特征图的第二相似度；

基于预设的损失函数、所述第一相似度、所述第二相似度、所述红外图像样本和所述可见光图像样本对所述初始图像融合模型进行训练，获得训练完备的目标图像融合模型；

基于所述目标图像融合模型对待融合红外图像和待融合可见光图像进行融合，获得目标融合图像。

在一些可能的实现方式中，所述基于预设的损失函数、所述第一相似度、所述第二相似度、所述红外图像样本和所述可见光图像样本对所述初始图像融合模型进行训练，获得训练完备的目标图像融合模型，包括：

判断所述第一相似度和所述第二相似度的差值是否小于预设差值；