[发明专利]基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法

摘要

本发明涉及一种基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法，将训练数据进行尺度变换后输入到不同尺度的网络结构中，依次从粗粒度到细粒度，逐级提取不同尺度的特征进行融合，以实现从粗到精的多尺度学习，最终获得有云、无云数据之间的映射关系，有效移除云成分，恢复图像细节，达到薄云去除的目的。实验结果表明，本发明与传统的薄云去除方法相比，能够消除传统方法带来的人为痕迹，准确的恢复图像中有云区域的信息，而且能够维持无云区域的保真度，薄云去除效果更好、精度更高。

主权项

1.一种基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法，其特征在于步骤如下：步骤1：获取实验数据：所述的实验数据分为实际数据和模拟数据，其中实际数据为遥感卫星landsat8在一个重访周期采集到的两幅图像，属于同一地区不同时间点的多时相实验数据，一幅有云存在，一幅干净无云，分别称为实际有云图像和实际无云图像；模拟数据为根据云的光谱特性从一特定有云遥感图像中提出云成分，与选取的特定无云图像结合生成模拟有云图像，选取的特定无云图像称为模拟无云图像，生成的有云图像称为模拟有云图像；步骤2：预处理实验数据：实验数据的预处理分为实际数据的配准、实验数据的分割与多尺度训练数据的生成；实际数据的配准：采用envi5.3软件的Registration功能及人工调整实现有云图像与无云图像的配准；实验数据的分割：配准之后再分别将实验数据中有云图像与无云图像以固定的步长分割为一定大小的图像块集合，选取相同位置的有云图像块、无云图像块组合成训练样本对；多尺度训练数据的生成：对每一组训练样本对分别进行两次下采样，每次下采样之后都要保存中间结果，生成多尺度训练样本对，即通过一组单一尺度的训练数据对生成一组金字塔形的多尺度训练样本对，作为最终的训练样本数据；步骤3：训练网络模型：将金字塔形的多尺度训练样本对输入到整体网络模型中进行训练，特定尺度大小的训练样本要输入到其对应尺度的网络结构层中；在每个尺度的网络层结构中，以无云图像块集合作为训练目标，将其对应的同源有云图像块信息与下层传递过来的信息进行融合后训练网络模型参数，不断学习该尺度有云与无云图像块之间的映射关系，直至最终网络收敛；所述的整体网络模型分为三个尺度：原始尺度层、1/2尺度层和1/4尺度层，各个尺度的网络结构相同，每个网络结构包括浅层特征融合层、编码子网络、特征映射层、解码子网络和深层特征恢复层；其中，浅层特征融合层是一层卷积层，卷积核尺寸为3x3，特征图数量为16，用于从不同尺度的输入数据或者融合数据中提取特征；编码子网络由10层卷积层组成，每一层的卷积核尺寸为3x3，特征图数量为16，作为特征提取层在对图像内容的主要成分进行编码的同时消除薄云的影响；特征映射层用于特征融合，卷积核尺寸为1x1，特征图数量为16；随后与编码子网络对称的解码子网络作为可学习的上采样层，对得到的抽象特征进行解码，以恢复图像内容的细节组成成分，该子网络由10层反卷积层组成，每一层的卷积核尺寸为3x3，特征图数量为16；同时，采用四条跳跃连接分别将编码子网络中的l_2层、l_4层、l_6层、l_8层与解码子网络中对应的r_8层、r_6层、r_4层、r_2层特征图进行连接；由于跳跃连接的影响，r_3，r_5，r_7，r_9层特征图的数量为32；最后通过一层反卷积网络，即深层特征恢复层，卷积核尺寸为3x3，特征图数量为3，输出得到处理后无云图像；上述网络结构中，在每一层卷积或者反卷积操作之后均采用ReLU函数作为激活函数；步骤4：生成去云图像：将待处理的有云图像先进行两次连续的下采样，生成一组金字塔形的多尺度图像，再输入到已经训练好的网络模型中，通过网络的前向传播得到输出结果，即为该图像经过该网络模型实现的去除薄云后的结果图像。