[发明专利]基于自注意力机制的红外和可见光图像融合方法

权利要求书

1.基于自注意力机制的红外和可见光图像融合方法，其特征在于，包括以下步骤：

1)搭建基于自注意力机制的深度自编码网络结构，以端到端的方式对特征提取、融合规则和重构规则同时学习；

2)将编码层不同分支的特征图输入自注意力机制获得注意力图，并采用均值融合策略融合注意力图和编码层输出特征图；

所述步骤2)中将编码层不同分支的特征图输入自注意力机制获得注意力图的具体过程为：

定义深度自编码网络编码层的输出为x∈R^C×H，其中，C为编码层输出特征图的通道数，H为编码层输出特征图每个通道特征点的数量；

a)首先将x转换至s和o的特征空间中；

s(x_i)＝W_sx_i，o(x_j)＝W_ox_j

其中，W_s和W_o是两个1×1卷积层的可学习权重矩阵，为转换后特征图的通道数；

b)接着计算s(x_i)与o(x_j)的自相关矩阵，并对其进行归一化处理；

其中，φ(i,j)＝s(x_i)^To(x_j)，θ_j,i表示第j个位置对第i个位置的影响程度；

c)最后计算自注意力机制的输出；

其中，g(x_i)为注意力机制中特征空间之一，以对特征图中每个位置建立长距离依赖，W_g为可学习权重矩阵，Z为自注意力机制输出的注意力图；

所述步骤2)中采用均值融合策略融合注意力图和编码层输出特征图的具体过程为：

编码层的输出为f_k，k＝1是源图像I，k＝2是源图像V，将f_k输入注意力机制可分别得到不同源图像的注意力图Z₁和Z₂，最后结合编码层的输出使用加权平均策略获得融合层的输出，以输入解码层重构得融合图像，

其中，y_i表示融合层输出的第i个特征图；

3)设计内容损失用于突出红外目标信息和锐化边缘，细节损失用于更好地利用源图像中的纹理细节；

3.1)计算融合图像与源图像的结构相似度；

3.2)计算融合图像和源图像的像素级损失；

3.3)计算融合图像和源图像的梯度均方误差；

3.4)根据感知网络计算融合图像和源图像的感知损失；

4)训练神经网络，并对自注意力机制进行可视化以调整网络结构和损失函数。

2.根据权利要求1所述的基于自注意力机制的红外和可见光图像融合方法，其特征在于，所述步骤1)的具体过程为：

深度自编码网络包括编码层、融合层和解码层；编码层包含两个分支，每个分支包括3个卷积核大小3*3的可训练卷积层，每个卷积层后接Relu层；融合层将编码层输出的特征图分别输入三个卷积核大小为1*1的可训练卷积层，通过矩阵运算与Softmax操作获得输入图像的注意力图，并结合编码层的输出利用均值加权策略融合两个分支；解码层与编码层形成镜面对称，包含四个卷积核大小为3*3的可训练卷积层，最后一个卷积层用于输出与源图像大小相同的融合图像。

3.根据权利要求1所述的基于自注意力机制的红外和可见光图像融合方法，其特征在于，所述步骤3)的具体过程为：

深度自编码网络的损失包括内容损失与细节损失，内容损失包括结构相似度L_ssim、像素级损失L_mse和梯度损失L_gradient，细节损失为感知损失L_perceptual；具体定义如下：

其中，α,β,γ,μ均为权重参数，用来平衡不同损失函数。