[发明专利]一种多尺度特征融合和对齐的域自适应云检测方法

权利要求书

1.一种多尺度特征融合和对齐的域自适应云检测方法，其特征在于，包括以下步骤：

11)多尺度特征融合和对齐的域自适应云检测准备工作：对用于进行域自适应的源域遥感卫星影像和目标域遥感卫星影像根据含云量分类，按一定比例挑选各个百分比的影像数据；对用于进行域自适应的源域遥感卫星影像和目标域遥感卫星影像进行波段合并、裁剪预处理；对用于进行域自适应的源域遥感卫星影像标签进行归一化预处理；

12)构建与训练多尺度特征融合和对齐的域自适应云检测模型，包括以下步骤：

121)构建多尺度特征融合和对齐的域自适应云检测模型：所述多尺度特征融合和对齐的域自适应云检测模型包括编码器结构、多尺度融合模块、解码器结构、跳跃连接结构、域自适应框架结构、特征选择结构、分组特征对齐结构，编码器结构用于提取抽象特征，多尺度融合模块用于产生融合的多尺度特征，解码器结构用于从不同尺度的特征中恢复云掩膜，跳跃连接结构用于将不同尺度的浅层空间信息和深层语义信息结合，域自适应框架结构用于减少对标签数据依赖，特征选择结构用于指导类相关特征选择来进行特征对齐，分组特征对齐结构用于缩小源和目标域之间的特征分布差距以获得域不变特征表示；

1211)编码器结构为一个普通3x3卷积层，一个批归一化层，一个RELU线性激活单元以及resnet34的前四层构成的四个下采样块；多尺度融合模块结构为4个膨胀率不同的空洞卷积层和1个图像池化操作，四个空洞率为1、6、12、18，产生具有不同接收野的特征，一个图像池模块生成通道特征，得到五个平行输出并通过一次拼接运算和一次1×1卷积得到多尺度特征；

1212)解码器的结构为四个普通3x3卷积层，一个批归一化层，一个RELU线性激活单元构成的上采样块；

1213)跳跃连接的结构为拼接两个输入为一个输出；

1214)域自适应框架的结构为输入来自两个不同卫星的云图但共享用于分割的云检测模型框架；

1215)特征选择的结构为利用分割网络的预测得分图得到用于分组对齐的空间注意图；

1216)分组特征对齐结构为将从网络的第k个隐层提取与云相关的特征映射分成一系列组，对源域和目标域的每个分组特征分别使用对抗学习策略；

122)训练多尺度特征融合和对齐的域自适应云检测模型：首先将原始源域遥感卫星影像和目标域遥感卫星影像分别经过编码器结构，再将其经过一次多尺度特征融合结构，将多尺度特征融合结构的输出经过解码器结构，之后通过跳跃连接结构将编码器第四次下采样连接解码器第一次上采样，通过跳跃连接结构将第三次下采样连接第二次上采样，通过跳跃连接结构将第二次下采样连接第三次上采样，通过跳跃连接结构将第一次下采样连接第四次上采样，将跳跃连接拼接后的最后两层源域输出与目标域输出经过特征对齐模块，最后经过小尺寸普通卷积结构完成整个模型的搭建；

训练多尺度特征融合和对齐的域自适应云检测模型的具体步骤如下：

1221)将预处理后的用于进行域自适应的源域遥感卫星影像以及标签和目标域遥感卫星影像输入云检测模型中；

1222)执行一次编码器结构得到四个下采样输出；

执行一个卷积核为3x3的普通卷积层，一个批归一化层，一个RELU线性激活单元以及resnet34的layer1得到第一个下采样输出；

对第一个下采样输出执行resnet34的layer2得到第二个下采样输出；

对第二个下采样输出执行resnet34的layer2得到第三个下采样输出；

对第三个下采样输出执行resnet34的layer2得到第四个下采样输出；

1223)对第四个下采样输出执行一次多尺度特征融合层，其中多尺度特征融合层的输出如下；

第一条路径对编码器结构第四次下采样的输出执行一次扩张因子为1,卷积核为3x3的空洞卷积层，得到第一个输出；

第二条路径对编码器结构第四次下采样的输出执行一次扩张因子为6,卷积核为3x3的空洞卷积层，得到第二个输出；

第三条路径对编码器结构第四次下采样的输出执行一次扩张因子为12,卷积核为3x3的空洞卷积层，得到第三个输出；

第四条路径对编码器结构第四次下采样的输出执行一次扩张因子为18,卷积核为3x3的空洞卷积层，得到第四个输出；

第五条路径对编码器结构第四次下采样的输出执行一次全局平均池化和一次卷积核为1x1的普通卷积层，得到第五个输出；

1224)将五条路径输出的结果进行拼接得到多尺度融合特征输出；

1225)对多尺度融合特征输出执行一次卷积核大小为1x1的普通卷积层；

1226)执行三次包括一次卷积核大小为3x3的普通卷积层、一次批归一化层、一次RELU线性激活单元的上采样块，得到第一次上采样的输出；

1227)将第一次上采样的输出通过跳跃连接结构与第四次下采样的输出进行拼接；

1228)对第一次拼接得到的输出执行三次包括一次卷积核大小为3x3的普通卷积层、一次批归一化层、一次RELU线性激活单元的上采样块，得到第二次上采样的输出；

1229)将第二次上采样的输出通过跳跃连接结构与第三次下采样的输出进行拼接；

12210)对第二次拼接得到的输出执行三次包括一次卷积核大小为3x3的普通卷积层、一次批归一化层、一次RELU线性激活单元的上采样块，得到第三次上采样的输出；

12211)将第三次上采样的输出通过跳跃连接结构与第二次下采样的输出进行拼接；

12212)对第三次拼接得到的输出执行三次包括一次卷积核大小为3x3的普通卷积层、一次批归一化层、一次RELU线性激活单元的上采样块，得到第四次上采样的输出；

12213)将第四次上采样的输出通过跳跃连接结构与第一次下采样的输出进行拼接；

12214)对第四次拼接得到的输出执行四次包括一次卷积核大小为3x3的普通卷积层、一次批归一化层、一次RELU线性激活单元、一次池化核大小为2x2的全局最大池化下采样的下采样块；

12215)执行四次包括一次卷积核大小为3x3的普通卷积层、一次批归一化层、一次RELU线性激活单元、一次恢复尺寸上采样的上采样块；

12216)执行一次卷积核大小为3x3的普通卷积层、一次批归一化层、一次RELU线性激活单元；

12217)将执行一次卷积核大小为3x3的普通卷积层的结果与跳跃连接模块第四次拼接得到的输出进行拼接；

12218)正向传播，得到最终的分割概率；

12219)执行一次特征选择结构，将源域和目标域第三次和第四次拼接得到的输出分别与最终的分割概率逐像素相乘，并在通道维度分割为4个子特征图；

12220)执行一次分组特征对齐结构，将两个域的各4个子特征图分组输入得到判别结果；

对源域的子特征图执行四次包括一次卷积核为4x4的普通卷积层、一次RELU线性激活单元、一次概率为0.5的dropout层的块；

执行一次池化核大小为1x1的自适应全局平均池化得到源域判别结果；

对目标域的子特征图执行四次包括一次卷积核为4x4的普通卷积层、一次RELU线性激活单元、一次概率为0.5的dropout层的块；

执行一次池化核大小为1x1的自适应全局平均池化得到目标域判别结果；

正向传播，分别得到源域和目标域的判别结果；

12221)使用二元交叉熵BCE损失作为分组特征对齐的对抗结构的损失函数对源域和目标域的判别结果进行计算得到对抗损失；

12222)使用MAE损失作为分组特征对齐结构的损失函数对源域和目标域的判别结果进行计算得到损失以最小化源域和目标域的距离；

12223)使用二元交叉熵BCE损失作为网络模型的损失函数对最终的分割概率进行计算得到分割损失；

12224)反向传播确定梯度向量，更新模型参数；

12225)判断是否达到设定的轮数，是则得到训练好的分割模型，否则返回(1221)重新加载数据继续训练；

13)对多尺度特征融合和对齐的域自适应云检测模型测试和求解：将未被大量标记的目标域遥感卫星影像输入由源域遥感影像及其标签和无标签的目标域遥感影像训练得到的，适应于目标遥感影像领域的，且在该领域性能表现较好的多尺度特征融合和对齐的域自适应云检测模型中进行模型测试并得到云检测预测分割结果。