[发明专利]红外与可见光图像融合方法、装置及计算机存储介质

权利要求书

1.一种红外与可见光图像融合方法，其特征在于，所述图像融合方法包括步骤：

S1、获取红外与可见光图像的源图像数据集，并进行数据集扩增；

S2、设计联合注意力机制，通过所述联合注意力机制提取扩增后的源图像数据集中的特征，并抑制噪声信息；

S3、构建网络模型，所述网络模型至少包括图像输入模块、联合注意力机制编码模块以及卷积解码模块；

S4、对所述网络模型进行训练与测试，将源图像输入训练后的网络模型，得到融合图像。

2.如权利要求1所述的图像融合方法，其特征在于，所述源图像数据集包括源图像对，所述数据集扩增包括通过移动裁剪的方式将源图像对扩增为尺寸为128*128像素的图像对。

3.如权利要求1所述的图像融合方法，其特征在于，设计的联合注意力机制中注意力子网络包括三个不同分支，每个分支均由通道注意力子网络和空间注意力子网络串联组成。

4.如权利要求3所述的图像融合方法，其特征在于，所述每个分支中的空间注意力子网络分别采用不同的感受野进行卷积计算。

5.如权利要求4所述的图像融合方法，其特征在于，所述不同的感受野分别包括3*3的卷积核、5*5的卷积核和7*7的卷积核。

6.如权利要求1所述的图像融合方法，其特征在于，所述对网络模型进行训练包括通过混合损失函数对融合图像与源图像的间结构特性、高层特征及底层特征相似性进行约束。

7.如权利要求6所述的图像融合方法，其特征在于，所述混合损失函数包括结构相似性损失、感知损失和内容损失；

所述混合损失函数定义如下：

L＝αL_SSIM+βL_Per+θL_Con

L表示总损失，L_SSIM表示结构相似性损失，L_Per表示感知损失，L_Con表示内容损失；α表示结构相似性损失的比例系数，β表示感知损失的比例系数，θ表示内容损失的比例系数。

8.如权利要求1所述的图像融合方法，其特征在于，所述图像融合方法还包括步骤：

S5、对所述融合图像进行综合评价，所述综合评价包括主观评价和客观评价；

所述主观评价包括人类视觉系统的观测效果；

所述客观评价包括通过熵、空间频率、标准差、平均结构相似性、相关系数、差异相似度以及融合视觉信息保真度指标的数值结果进行衡量。

9.一种图像融合装置，其特征在于，所述图像融合装置包括存储器以及与所述存储器耦接的处理器；

所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如权利要求1～8中任一项所述的图像融合方法。

10.一种计算机存储介质，其特征在于，所述计算机存储介质用于存储程序数据，所述程序数据在被处理器执行时，用以实现如权利要求1～8中任一项所述的图像融合方法。