[发明专利]基于高度感知的多路并行网络的遥感图像分割方法

权利要求书

1.一种基于高度感知的多路并行网络的遥感图像分割方法，其特征在于，包括以下步骤： (1)将原始遥感图像输入两个连续的下采样模块进行下采样，其中，第二个下采样模块的通道数设置为64；然后通过最大值池化的方式完成下采样，设计多路并行网络提取原始遥感图像的多层语义特征图，固定每条路径中的空间分辨率；所述多路并行网络分为三个阶段和三条并行路径，在每个阶段开始时，将前一阶段获取的遥感图像特征图送入特征提取模块在维持分辨率的同时提取语义特征；每个特征提取模块包含四个残差单元，在每个阶段结束时，通过下采样模块生成新的并行路径，获取具有双采样分辨率和双通道数的高层语义特征；每条路径中的特征图的通道和分辨率在整个特征提取过程中都是固定的；最终得到三个尺度的特征图尺度分别为原始遥感图像分辨率的1/4、1/8和1/16；对应的通道数分别为64、128和256； (2)利用门控高低层特征融合方法，将多层语义特征图的低层特征图与高层特征图相互融合；同时筛选出每层的有效信息；具体包括： (21)通过双线性插值上采样和1×1卷积的方法将高层特征图进行重塑使其分辨率和通道数与低层特征图保持一致，表示第层特征图，C为通道数，H和W分别为当前特征图的高度和宽度； (22)将重塑过后的高层特征图与进行通道上的维度拼接，紧接着使用通道数为C的1×1卷积，将输出通道数减少为C后得到门图，公式如下：

式(1)

其中 || 表示通道拼接，SE是通道挤压模块，是sigmoid函数； (23)利用得到的门图，将 与进行逐像素的相加融合，公式如下：

式(2)

其中是指在通道维度上的哈达玛积，代表融合过后的特征图； (24)将融合过后的特征图继续与更低层特征图继续融合，最终自下而上逐步融合得到特征图；

(3)引入高度特征解码器分支，设数字地表模型图像为训练时的额外标签，将学习到的高度几何特征作为语义上下文的指导；

具体包括： (31)将融合过后的特征图经过两个不同的3×3卷积分别得到语义上下文和高度特征，接着将通过和函数转变成两个子特征，对两个子特征通过内积计算得到高度相似矩阵；具体公式如下：

式(3)

其中，i和j是像素位置，T代表矩阵转置操作，为1×1卷积函数，为批量归一化指数函数； (32)将产生的高度相似矩阵用作额外指导，将另一个融合高度特征和语义上下文点积相乘；再将原始语义上下文添加到获得的结果中，整个传播过程保持语义特征的尺寸大小和维度；在位置i处的高度感知语义上下文传播输出计算公式为：

式(4)

其中，N是像素的总数目，为1×1卷积函数与批量归一化函数点积后的函数，正则化系数R设置为；

（4）根据语义分割和高度估计两种任务构建联合损失函数对多任务进行训练；具体包括

针对语义分割和高度估计多任务学习，设计联合损失函数，具体公式为：

式(5)

其中L为联合损失函数，是语义分割损失函数，是高度估计损失函数； 所述语义分割损失函数为：

式(6)

其中i是像素位置，是像素类索引，表示第 i个像素属于类别C的预测概率，是像素i对应的真实值； 所述高度估计损失函数为：

式(7)

其中和 分别表示像素i处的预测高度值和真实高度值。