[发明专利]一种基于卷积神经网络的影像融合方法以及遥感影像融合方法

权利要求书

1.一种基于卷积神经网络的影像融合方法，其特征在于，包括：

T1，使用第一重编解码器网络用于全色影像和多光谱影像空间特征的联合提取，包括：T11，使用第一空间特征提取分支对多光谱和高光谱影像的主成分融合后的影像进行处理，所述第一空间特征提取分支包括依次连接的多个空间特征提取模块；T12，使用第二空间特征提取分支对原始的高光谱影像进行处理，所述第二空间特征提取分支包括依次连接的多个空间特征提取模块；T13，使用第一特征重建模块对T11和T12得到的特征进行融合；T14，使用第三空间特征提取分支对融合后的特征进行提取；

T2，使用第二重编码器网络用于对高光谱影像提取光谱特征，以及将所述高光谱影像的特征和T1中得到的特征进行融合，并重建影像，包括：T21，使用第三空间特征提取分支对第一重编码器网络输出的结果进行空间特征提取，输出空间特征；T22，使用光谱特征提取分支对高光谱影像进行光谱特征提取，输出光谱特征；T23，使用第二特征重建模块对T21和T22得到的特征进行融合。

2.根据权利要求1所述的基于卷积神经网络的影像融合方法，其特征在于，

第一空间特征提取分支中的空间特征提取模块包括：卷积层、批归一化层、激活层、残差注意力模块，残差注意力模块对于多光谱的分支采用空间注意力机制；

第二空间特征提取分支中的空间特征提取模块包括：卷积层、批归一化层、激活层、残差注意力模块，残差注意力模块对于高光谱的分支采用光谱注意力机制；

第一特征重建模块包括：层次特征融合结构、二维卷积层和一维卷积层。

3.根据权利要求1所述的基于卷积神经网络的影像融合方法，其特征在于，

第三空间特征提取分支中采用光谱自注 意力机制，光谱特征提取分支中采用光谱自注 意力机制；

光谱特征提取分支包括多个连接的光谱特征提取模块，输出光谱特征，光谱特征提取模块包括：卷积层、自注意力机制模块。

4.一种遥感影像融合方法，其特征在于，包括：

S1，获取相同时间成像的全色、多光谱和高光谱影像并进行预处理，获得待融合的原始影像；

S2，使用融合全色影像与多光谱影像，以制作多光谱融合影像；

S3：构建训练数据集、有标签数据的训练数据集、有标签数据的验证数据集；

S4，构建多光谱和高光谱融合网络，所述网络实现如权利要求1-3中任一项所述的方法；

S5，在融合网络中输入训练数据集进行训练；

S6，对训练后的融合网络输入验证集，并与对应的标签数据进行对比，从空间信息及光谱信息两方面进行融合效果考量；

S7，将融合网络应用至推理数据，得到对应的高空间分辨率高光谱分辨率遥感影像。

5.根据权利要求4所述的遥感影像融合方法，其特征在于，步骤S1包括：

S11，获取相同时间成像的全色、多光谱、高光谱影像；S12，对影像进行辐射定标、大气校正及几何配准；S13，筛除配准后的影像的损坏波段。

6.根据权利要求5所述的遥感影像融合方法，其特征在于，步骤S2包括：

S21，规范化影像范围，按照范围进行裁剪；S22，构建主成分分析融合算法：对多光谱影像求取协方差矩阵，按特征值对特征矩阵进行排序，提取多光谱影像前k个主成分，以每一主成分的方差作为选择标准；对全色影像进行灰度拉伸，使用拉伸后的全色影像替换第一主成分；对替换后的多光谱影像和全色影像的主成分进行反变换，得到高空间分辨率的多光谱融合影像。

7.根据权利要求6所述的遥感影像融合方法，其特征在于，步骤S3包括：

等比下采样融合多光谱及原高光谱图像作为训练数据集，将未下采样的原始高光谱影像作为有标签数据的验证数据集，将原高光谱图像中没有用于训练和验证的剩余部分作为推理数据集。

8.根据权利要求7所述的遥感影像融合方法，其特征在于，步骤S5包括：

S51，使用SGDR+Adam进行参数传播及优化，直至网络收敛或参数下降到达设定值，训练过程停止；

S52，对于损失函数，将划分为两个部分：对于光谱域特征，使用基础的平方损失函数；对于空间域，选择使用矢量交叉熵损失函数。