[发明专利]一种改进空洞卷积和多层次特征信息融合的图像语义分割方法

权利要求书

1.一种改进空洞卷积和多层次特征信息融合的图像语义分割方法，其特征在于：包括以下步骤：

S1：使用改进的空洞卷积方法在深度卷积神经网络中提取图像特征；

S2：将提取的深层特征图像与浅层特征图像级联融合弥补空间信息丢失；

S3：将多阶段处理后的特征图像通过边界细化学习边界信息，融合并恢复至原始图像分辨率，生成预测分割图；

S4：利用交叉熵损失函数训练网络，以mIoU评价模型性能；

所述S1的具体实现方法包括以下步骤：

S1.1以ResNet-101为基础网络，在第三个采样模块后接入改进的跃级连接空洞卷积模块，该模块包含连续三个空洞卷积层，根据输入图像的分辨率大小更改其中卷积层的空洞率，不同卷积层之间顺向建立跃级连接，在不继续缩小图像的情况下进一步扩大感受野，并减少信息损失；

S1.2将经过跃级连接空洞卷积模块的图像输入到改进的可变形空间金字塔池化模块，利用可变形卷积具有使感受野自适应目标尺度变化、灵活收敛信息的优势与多尺度空洞卷积标准采样能够有效分类图像任意区域的优势相结合，以较小的模型复杂度为代价提高模型学习目标形变的能力；

S1.3保留下采样过程不同阶段、不同分辨率特征图像所包含的不同层次特征信息。

2.根据权利要求1所述的一种改进空洞卷积和多层次特征信息融合的图像语义分割方法，其特征在于：所述S2的具体实现方法包括以下步骤：

S2.1将经过跃级连接空洞卷积模块处理的特征层经过1×1卷积，与最深层提取的特征图像结合，弥补该浅层特征图像的语义信息，将输出特征图经过1×1卷积作为该层输出；

S2.2将S2.1中输出的特征图与前一模块输出的特征图像结合，弥补该浅层特征图像的语义信息，将输出特征图经过1×1卷积作为该层输出；

S2.3将S2.2中输出的特征图像通过双线性插值二倍上采样，与前一模块输出的特征图像结合，弥补该浅层特征图像的语义信息，将输出特征图经过1×1卷积作为该层输出；

S2.4将S2.3中输出的特征图像通过双线性插值二倍上采样，与前一模块输出的特征图像结合，弥补该浅层特征图像的语义信息，将输出特征图经过1×1卷积作为该层输出。

3.根据权利要求1所述的一种改进空洞卷积和多层次特征信息融合的图像语义分割方法，其特征在于：为了在同一分辨率下融合不同层级具有不同空间信息与语义信息的特征图像，需要将多层级的输出特征图像经过双线性插值法统一处理至图像原始分辨率的四分之一大小，所述S3的具体实现方法包括以下步骤：

S3.1将最深层输出特征图像通过双线性插值法四倍上采样；

S3.2将S2.1中该层输出特征图像通过双线性插值法四倍上采样；

S3.3将S2.2中该层输出特征图像通过双线性插值法四倍上采样；

S3.4将S2.3中该层输出特征图像通过双线性插值法二倍上采样；

S3.5将S2.4、S3.1、S3.2、S3.3、S3.4中输出特征图像经过BR模块细化边界后融合，经过3×3卷积、双线性插值法四倍上采样两步处理后恢复至图像原始分辨率大小，得到最终预测分割图。

4.根据权利要求1所述的一种改进空洞卷积和多层次特征信息融合的图像语义分割方法，其特征在于：所述S4的具体实现方法包括以下步骤：

S4.1计算分割预测图与数据集中标准分割图的交叉熵损失，利用反向传播算法更新模型中参数权重，经过数据集中训练集训练得到最终的语义分割模型；

S4.2利用数据集中测试集，以mIoU指标测试模型预测性能。