[发明专利]一种改进的基于编解码器的图像语义分割方法

权利要求书

1.一种改进的基于编解码器的图像语义分割方法，其特征在于，采用编解码器结构提取与融合多尺度特征并针对类别边界进行优化，包括数据集预处理、对输入图像进行特征提取与跨层融合、语义粗分割、边界优化、网络训练与测试五个部分；

第一部分包括两个步骤：

步骤1，下载语义分割公开数据集，选取场景复杂、细节多样和类别齐全的图像作为训练样本；

步骤2，将训练图像在[0.5，2]范围内进行随机缩放，再对图像进行随机裁剪进行训练，增强训练样本的随机性，防止训练过拟合问题，形成最终的训练集；

第二部分包括两个步骤：

步骤3，将步骤2中的训练样本输入到编解码器网络进行多尺度特征提取和跨层融合，得到融合后的特征图。具体实施如下：

（1）编码器网络用于特征提取和多尺度特征融合，由下采样操作和改进后的ASPP模块组成；以残差网络作为骨干网络，对输入样本进行1/4下采样，生成低级空间特征图传入解码器备用，再将连续下采样生成的1/16大小的特征图作为改进后的ASPP模块的输入，获取高级语义信息；编码器中改进后的ASPP模块由卷积层、四个膨胀卷积层（膨胀率分别为4、8、12、24）和全局平均池化层构成，对输入特征图进行多尺度特征提取，并使用FReLU激活函数进行非线性激活，最后进行Concatenate融合；

（2）解码器网络用于对编码器中不同层级特征进行跨层融合；

步骤4，将步骤2中的训练样本输入到边界优化网络，通过并行网络HRNet提取高分辨率特征图作为边界分支和方向分支的输入；

第三部分包括两个步骤：

步骤5，将步骤3中解码器备用特征图进行通道数调整，与经过反卷积上采样操作的改进后的ASPP模块输出的特征图进行Concatenate融合；

步骤6，将步骤5中跨层融合后的特征图通过卷积映射到RGB空间，再通过反卷积操作恢复成输入图像的分辨率；

第四部分包括两个步骤：

步骤7，将步骤4提取的特征图作为边界分支和方向分支的输入，生成具有各个方向上不同偏移量信息的偏移图，优化粗略结果；具体实施如下：

（1）边界分支由二元交叉熵函数监督的卷积、BN归一化和ReLU激活函数和卷积构成的线性分类器构成，通过预设阈值进行边界划分，人为缩放因子对所有偏移量重新缩放，减少虚假像素预测；

（2）方向分支由标准类别交叉熵函数监督的卷积、BN归一化和ReLU激活函数和卷积构成的线性分类器构成，使用离散分区划分真实场景图；

（3）将（2）输出离散方向图与(1)输出边界图进行掩模，生成具有各个方向上不同偏移量信息的偏移图；

（4） 将（3）输出偏移图空间映射至步骤6中输出粗略分割图进行边界优化；

第五部分包括两个步骤：

步骤8，调试从步骤3到步骤7的网络结构超参数，设置网络模型参数，其中，初始学习率设置为0.01，在骨干网络使用1/10初始学习率，并使用poly学习率调整策略，Epochs设置为80，Bach size设置为8，并得到最终的训练模型；

步骤9，将步骤1中测试集输入步骤8中的训练模型中，分割图像语义。

2.根据权利要求1所述的一种改进的基于编解码器的图像语义分割方法，其特征在于，采用步骤3（1）中改进的ASPP块，其中ASPP块的膨胀率设置为4、8、12、24；步骤3中利用视觉激活函数FReLU获取空间不敏感信息；步骤3中编解码器结构用于图像特征的多尺度提取与跨层融合。

3.根据权利要求1所述的一种改进的基于编解码器的图像语义分割方法，其特征在于，利用步骤7（1）提取输入图像边界图，其中阈值设置为5，人为缩放因子为2；利用步骤7（2）提取离散方向图，其中离散分区设置为8；步骤7（3）中偏移图用于图像分割优化。

4.根据权利要求1所述的一种改进的基于编解码器的图像语义分割方法，其特征在于，步骤9中Epochs设置为80，骨干网络学习率为初始学习率的1/10，使用poly学习率调整策略，Bach size设置为8。