[发明专利]基于残差网络与空间注意力机制的遥感图像融合方法

权利要求书

1.基于残差网络与空间注意力机制的遥感图像融合方法，其特征在于，包括以下步骤：

步骤S1：对采集到的全色图像与多光谱图像进行大气校正、辐射校正、配准，将配准后的图像进行裁剪，并分为训练集与测试集；

步骤S2：构建无监督融合网络框架；

步骤S3：根据多光谱图像具有丰富光谱信息，全色图像具有丰富空间纹理信息设计同时能约束融合图像光谱损失与空间损失的损失函数；

步骤S4：对损失函数进行训练与测试，将原始多光谱与全色图像输入进无监督融合网络进行训练，循环迭代，并根据目标图像需求分配不同损失函数权重，对网络进行优化，保存训练模型；

步骤S5：调用训练模型，对测试图像进行测试，得到融合的高空间分辨率多光谱图像。

2.根据权利要求1所述的基于残差网络与空间注意力机制的遥感图像融合方法，其特征在于，所述步骤S2包括以下子步骤：

步骤S21：针对目标图像搭建无监督融合网络框架，使得网络能直接融合输入图像，不必制作模拟退化数据集；

步骤S22：设计网络框架各模块数量，使用两层卷积层、五个残差块、五个空间注意力块与一个激活函数构成网络框架；

步骤S23：设计卷积层的大小；

对于第一卷积层，所述第一卷积层的卷积核大小为32*3*3，对于第二卷积层，所述第二卷积层的卷积核大小为n*3*3,

其中，n为多光谱图像波段数，激活函数为RELU函数；

步骤S24：设计一个高通滤波器提取全色图像的高频信息做掩膜，所述高通滤波器滤波核为[[0,0,1,0,0],[0,1,2,1,0],[1,2,-16,2,1],[0,1,2,1,0],[0,0,1,0,0]]。

3.根据权利要求1所述的基于残差网络与空间注意力机制的遥感图像融合方法，其特征在于，所述步骤S3包括以下子步骤：

步骤S31：设计的损失函数；所述损失函数包括空间域损失函数与频率域损失函数，所述空间域损失函数与频率域损失函数均包括计算空间损失项与光谱损失项，

所述损失函数的计算公式为：

Loss＝w₁·loss_spatial1+w₂·loss_spectral1+w₃·loss_spatial2+w₄·loss_spectral2

其中，w₁、w₂、w₃、w₄为权重，loss_spatial1为空间域里空间损失项，loss_spectral1为空间域里光谱损失项，loss_spatial2为频率域里空间损失项，loss_spectral2为频率域里光谱损失项；

步骤S32：空间域里空间损失项采用通用图像质量指数来计算，其计算公式为：

式中，x为输入图像，y为参考图像，σ_xy为x和y的协方差，σ_x²为x的方差，σ_y²分别为y的方差，为x的均值，分别为y的均值，空间损失UIQI的取值范围为[-1,1]，其最优值为1；

所述空间损失函数为：

loss_spatial1＝1-UIQI(Network_output,PAN)

其中，Network_output为融合图像的网络输出，PAN为输入全色图像；

步骤S33：空间域里光谱损失项采用光谱角映射来计算，其计算公式为：

loss_spectral1＝SAM(downsample|Network_output|,MS)

其中，downsample|*|表示下采样操作，Network_output为融合图像的网络输出，MS为输入多光谱图像；

步骤S34：频率域里空间损失与光谱损失项均采用均方差来计算，其公式为：

所述空间损失项与光谱损失项计算公式为：

loss_spatial2＝MSE(HP|Network_output|-HP|PAN|)

loss_spectral2＝MSE(LP|Network_output|-upsample|MS|)

其中，HP|*|表示高通滤波器，LP|*|表示低通滤波器，upsample|*|表示上采样操作，Network_output为融合图像的网络输出，PAN为全色图像，MS为多光谱图像，loss_spatial2为频率域里空间损失项，loss_spectral2为频率域里光谱损失项。

4.根据权利要求1所述的基于残差网络与空间注意力机制的遥感图像融合方法，其特征在于，所述步骤S4包括以下子步骤：

步骤S41：将原始多光谱图像与原始全色图像作为无监督融合网络的输入进网络；

步骤S42：分别计算网络输出的空间域里两项损失loss_spatial1和loss_spectral1与光谱域里两项损失loss_spatial2和loss_spectral2，加权得到整个网络的损失，循环迭代，优化网络，保存训练参数与权重，并保存训练模型。