[发明专利]一种遥感图像的融合方法、系统及相关组件

权利要求书

1.一种遥感图像的融合方法，其特征在于，包括：

对训练样本进行预处理得到训练数据集；其中，所述训练数据集包括多张全色图像和多张多光谱图像；

将所述训练数据集输入至特征提取神经网络，对所述特征提取神经网络进行训练得到全色特征信息和多光谱特征信息；

利用所有所述全色特征信息和所有所述多光谱特征信息训练特征融合神经网络得到融合特征和编码特征图；其中，所述编码特征图由所述特征融合神经网络对所有所述全色图像和所有所述多光谱图像进行编码操作得到；

将所述融合特征和所述编码特征图输入图像重构神经网络，并利用所述图像重构神经网络的反卷积层进行重建操作得到高分辨率多光谱图像，以便训练所述图像重构神经网络；

根据训练后的所述特征提取神经网络、训练后的所述特征融合神经网络和训练后的所述图像重构神经网络构建深度神经网络模型，并利用所述深度神经网络模型进行遥感图像融合操作。

2.根据权利要求1所述融合方法，其特征在于，所述对训练样本进行预处理得到训练数据集包括：

将所述训练样本中对同一区域采集的全色图像与多光谱图像设置为一个图像组；

对每一所述图像组的全色图像和多光谱图像分别下采样得到预设尺寸的下采样全色图像和下采样多光谱图像；

对所述下采样多光谱图像进行逐波段的插值操作，以使插值操作后的下采样多光谱图像中每个波段图像的像素大小与所述下采样多光谱图像中每个波段图像的像素大小相等；

根据所有所述下采样全色图像和所述下采样多光谱图像构建所述训练数据集。

3.根据权利要求2所述融合方法，其特征在于，将所述训练数据集输入至特征提取神经网络，对所述特征提取神经网络进行训练得到全色特征信息和多光谱特征信息包括：

将所述下采样全色图像和所述下采样多光谱图像分别输入至特征提取神经网络的第一子卷积神经网络和第二子卷积神经网络得到中间全色特征信息和中间多光谱特征信息；其中，所述第一子卷积神经网络和所述第二子卷积神经网络分别设有非线性激活单元，所述特征提取神经网络包括所述所述第一子卷积神经网络、所述第二子卷积神经网络、所述非线性激活单元和卷积核；

将所述中间全色特征信息和所述中间多光谱特征信息输入所述卷积核进行下采样得到所述全色特征信息和所述多光谱特征信息。

4.根据权利要求1所述融合方法，其特征在于，将所述融合特征和所述编码特征图输入图像重构神经网络，并利用所述图像重构神经网络的反卷积层进行重建操作得到高分辨率多光谱图像包括：

将图像重构神经网络中每两层中的所述编码特征图向上采样作为所述图像编码器的对称结构，将所述图像重构神经网络设置为图像解码器，并在所述图像编码器和所述图像解码器之间添加跳转连接；其中，所述图像编码器为所述特征提取神经网络和所述特征融合神经网络的整体连接网络；

将所述图像编码器中的特征映射复制到所述图像解码器中，并建立所述图像解码器与所述图像编码器之间的特征映射级联；

将所述融合特征和所述编码特征图输入图像重构神经网络，并利用所述图像重构神经网络的反卷积层进行重建操作得到高分辨率多光谱图像。

5.根据权利要求2所述融合方法，其特征在于，在重构神经网络构建深度神经网络模型之后，还包括：

将所述训练数据集中的所有图像组输入至所述深度神经网络模型，并采用损失函数l₁(Θ)和随机梯度下降方法对所述深度神经网络模型进行训练；其中，为所述下采样全色图像，为所述下采样多光谱图像，所述损失函数Yⁱ为所述图像组对应的高分辨率多光谱图像，N为所述图像组的数量，Θ是神经网络参数；

当所述深度神经网络模型的损失函数与区域局部最优解之差小于预设值时，停止训练所述深度神经网络模型。