[发明专利]基于深度学习的全色与多光谱图像融合方法

权利要求书

1.一种基于深度学习的全色与多光谱图像融合方法，其特征在于，包括：

获取待融合的全色图像和多光谱图像；

将所述全色图像和多光谱图像输入预训练的图像融合模型中，获得融合后的遥感图像；

其中，所述图像融合模型包括空间结构增强网络和光谱信息调整网络两部分，所述空间结构增强网络基于卷积神经网络，其使用不同种类卫星的遥感图像训练集进行训练；所述光谱信息调整网络包括若干分支网络，每个分支网络利用特定种类卫星的遥感图像进行训练，通过将空间结构增强网络和光谱信息调整网络的输出结果点乘，获得融合图像；

所述空间结构增强网络的输入为全色图像和初始多光谱图像，全色图像和初始多光谱图像首先进行堆叠操作得到图像M，中间采用4个卷积模块，进行空间信息的提取，所述卷积模块间进行密集连接，将M输入第一个卷积模块，输出为ms2；M与第一个卷积模块的输出ms2堆叠，输入第二个卷积模块，输出为ms3；M与ms2、ms3堆叠，输入第三个卷积模块，输出为ms4；M与ms2、ms3、ms4堆叠，作为输入，输入第四个卷积模块，输出为ms5；将全色图像本身进行四次堆叠，输出为pan2；然后pan2与ms5相加，输出结果为HRMS1。

2.如权利要求1所述的一种基于深度学习的全色与多光谱图像融合方法，其特征在于，所述光谱信息调整网络将所述空间结构增强网络的输出输入特定分支进行处理，每一个分支网络包括，32个3×3滤波器的卷积层，全局平均池化层，和两个全连接层，4个3×3滤波器的卷积层；所述光谱信息调整网络对所述空间结构增强网络进行每个通道的调整，输出结果为Mask；

所述特定分支包括，32个3x3滤波器的卷积层，全局平均池化层，和两个全连接层，4个3x3滤波器的卷积层；

对于光谱信息调整网络其中一个分支，输入为HRMS1∈R256*256*4；HRMS1∈R256*256*4先经过32个3×3滤波器的卷积层，输出H1∈R256*256*32，H1∈R256*256*32输入全局平均池化层，全局平局池化将二维信息进行特征压缩，将每个二维的特征通道变成一个实数，32个通道对应着32个实数，这个实数某种程度上具有全局的感受，输出H2∈R32，H2∈R32输入两个全连接层，第一个全连接层输入32个节点，输出16个节点，包含一个激活函数Rectified Linear Unit，第二个全连接层输入16个节点，输出32个节点，包含一个激活函数sigmoid，两个全连接层的输出结果为H3∈R32，将H3∈R32的维度进行调整，调整为H3∈R1*1*32，H3∈R1*1*32与HRMS1∈R256*256*32点乘，H3对H1逐通道调整；点乘结果通过一个卷积层处理，输出结果为Mask∈R256*256*4。

3.如权利要求1所述的一种基于深度学习的全色与多光谱图像融合方法，其特征在于，所述空间结构增强网络的输出结果HRMS1与光谱信息调整网络的输出结果Mask点乘，点乘结果为最终高分辨率多光谱图像HRMS。

4.如权利要求1所述的一种基于深度学习的全色与多光谱图像融合方法，其特征在于，对于获取的待融合的全色图像和多光谱图像需要进行预处理操作，将将低空间分辨率的多光谱图像进行四倍上采样操作得到与全色图像尺寸相同的初始多光谱图像。