[发明专利]一种基于下采样的特征融合遥感图像语义分割方法

权利要求书

1.一种基于下采样的特征融合遥感图像语义分割方法，其特征在于：包括以下步骤：

(1)将彩色遥感图像分成训练图像集和测试图像集两部分，将训练图像集中的遥感图像和其对应的标签图以相同的方式切割成256×256像素的小图像，即训练小图像和训练小标签图像；

(2)对训练小图像和训练小标签图像分别进行如下操作，且操作后的图像形成一个新的数据集：

a、将训练小图像和训练小标签图像分别旋转90度、180度和270度；

b、将训练小图像和训练小标签图像分别做镜像操作；

c、将训练小图像做模糊操作；

d、将训练小图像做亮度、对比度、饱和度的色彩调整；

e、将训练小图像做添加噪声操作；

(3)搭建语义分割模型：语义分割模型由下采样模块、高级语义特征提取模块、特征融合模块和分类器模块组成，分别搭建下采样模块、高级语义特征提取模块、特征融合模块和分类器模块；

(4)首先通过预训练对搭建好的语义分割模型的节点参数进行预先配置，然后训练小图像进入下采样模块进行高分辨率的低级语义特征提取得到低级语义特征图像，低级语义特征图像分成两条支路，一路进入高级语义特征提取模块进行特征提取得到高级语义特征图像，高级语义特征图像与另一路下采样模块直接提取的低级语义特征图像一起进入特征融合模块进行融合得到融合特征图像，分类器模块将融合特征图像和对应的训练标签小图像进行交叉熵运算，得到训练小图像每个像素的预测概率值，根据得到的预测概率值对融合特征图进行分类，最后通过随机梯度下降的方式来更新语义分割模型中的节点参数；

(5)将测试图像集中的遥感图像和其对应的标签图按照与步骤(1)相同的方式切割成256×256像素的小图像，即测试小图像和测试小标签图像，将测试小图像及对应的测试小标签图像输入到按照步骤(4)训练得到的语义分割模型中，测试模型分类的准确率。

2.根据权利要求1所述的一种基于下采样的特征融合遥感图像语义分割方法，其特征在于：步骤(3)还包括以下子步骤：

(2.1)下采样模块由一个3×3的标准卷积和两个3×3的深度可分离卷积组成，标准卷积和两个深度可分离卷积的卷积步长都为2，输入下采样模块的训练小图像或者测试小图像大小为256×256×3，经过一个标准卷积后的输出特征图大小为128×128×32，经过第一个深度可分离卷积后的输出特征图大小为64×64×48，经过第二个深度可分离卷积后输出大小为32×32×64的低级语义特征图；

(2.2)高级语义特征提取模块由一个MobileNetV2、一个空间金字塔池化层、一个平均池化层以及两个4倍上采样组成，空间金字塔池化层由一个逐点卷积及空洞率为2，4，6的三个空洞卷积并行组成；MobileNetV2由三组瓶颈倒残差块组成；下采样模块输出的低级语义特征图输入到MobileNetV2，得到大小为8×8×128的特征图，然后，一路分别通过空间金字塔池化层和平均池化层分别得到大小为8×8×128的多尺度特征图及大小为8×8×128的全局特征图，二者处理后输出的特征图与另一路MobileNetV2直接输出的特征图分别通过4倍上采样恢复到大小为32×32×128后，进行融合，最后得到大小为32×32×128的高级语义特征图；

(2.3)特征融合模块由一个3×3深度卷积以及两个3×3标准卷积组成，它们的步长都为1，该模块通过一个标准卷积及一个深度卷积级联来处理从高级语义特征提取模块得到的高级语义特征图，得到32×32×128的输出特征图；另外，通过另一个标准卷积处理下采样模块输出的低级语义特征，得到32×32×128的输出特征图，然后，将两路特征图融合，得到大小为32×32×128的融合特征图；

(2.4)分类器模块由两个3×3的深度可分离卷积、一个3×3的标准卷积、一个大小为8×8，步长为8的转置卷积以及Softmax函数级联组成，两个深度可分离卷积和标准卷积的卷积步长都为1，特征融合模块输出的融合特征图经过两个级联的深度可分离卷积，它们的输出特征图大小都为32×32×128，再经过标准卷积后的输出特征图大小为32×32×32，然后，利用转置卷积将特征图恢复成大小为256×256×3后，使用Softmax函数对得到的特征图的像素点进行分类，得到最终分割结果。