[发明专利]基于多尺度特征和编解码器模型的街景图像语义分割方法

说明书

本发明公开了一种基于多尺度特征和编解码器模型的街景图像语义分割方法，包括以下步骤：原始图像输入深度卷积神经网络提取初始特征图；将初始特征图输入第一多尺度空间金字塔池化模块输出第一特征图；第一特征图输入第二多尺度空间金字塔池化模块输出第二特征图；第二特征图通过然后利用上采样操作和跳跃连接还原为原始图像大小得到最终的预测图；所述第一多尺度空间金字塔池化模块和第二多尺度空间金字塔池化模块输出特征图由通过1×1卷积、通过四个扩张率不同的atrous卷积以及通过平均池化操作提取的六种尺度的特征图级联后输出。本发明方法能够提高语义分割结果的精度，对目标边界的像素进行更准确的分类。

技术领域

本发明涉及一种图像语义分割方法，特别是涉及一种基于多尺度特征和编解码器模型的街景图像语义分割方法。

背景技术

图像分割是图像处理领域中常见的概念，它的目的是将每个像素区域划分给不同的类别。但和语义分割根本的区别在于，图像分割并不知道分割出来的各个类是什么，即只需要分割出不同的区域，大多只是利用像素之间的相似尺度进行划分。而语义分割则是在分割出区域的基础上，对每个区域所属类别进行分类，即实现对一幅图片中的每一个像素点分类。

目前图像语义分割研究都是基于FCN(全卷积神经网络)这种结构，针对FCN存在的问题来进行优化。尽管语义分割的方法不同，但基本研究方向是以下两个方面：第一种，基于特征提取的改进，这类方法通过利用不同的特征提取方法，获取更详细的信息以实现更精确的分类；第二种，基于后处理方法的改进，这类方法通过将前面分类的不准确的预测进行一些后处理操作，使得目标边界更加平滑以获得更好的结果。

针对目前的语义分割方法，当前主要存在两个问题。

1、如何获取有用的多尺度特征。尽管atrous卷积(或dilated卷积)能够在增大感受野的同时，不降低特征图的分辨率，但是简单的将atrous卷积(或dilated卷积)得到的特征图生成一个语义掩码仍然不能很好的提升语义分割的精度。因为，在atrous卷积特征图上的所有神经元拥有同样大小的感受野，这就意味着整个高层语义信息的获取过程只利用了单一尺度的特征。实验表明，多尺度的语义信息有助于解决有歧义的例子并且能够生成比较鲁棒的分类结果。何凯明等人提出了一种空间金字塔池化模块(Spatial PyramidPooling)，通过获得多尺度的特征图来提升分类效果。为了获得多尺度的语义信息，L.-C.Chen等人提出了一种新的空间金字塔池化方法称为Atrous Spatial Pyramid Pooling(ASPP)。ASPP通过将不同atrous率大小的atrous卷积生成的特征图级联在一起，这样就能获得具有不同大小感受野的特征图了，最终获得更好的鲁棒性。但是，这种方法仍然还有缺陷。在自动驾驶中，分割的目标在不同的图片中存在着很大的尺度变化，例如行人、车辆。

2、目标边界的像素分类问题。在街道场景中，当几个行人并排走的时候，由于行人之间靠的很近，所以很难获取各个行人之间的边界。因为行人的移动方向对于自动驾驶的决策很重要，所以语义分割模型需要获得一个较好的目标边界。虽然目前的一些编解码器的语义分割模型，能逐渐恢复较好的目标边界。但是由于一些模型的编码器只获取了单一尺度的高层语义信息，所以在目标边界的像素分类不够准确，最终的语义效果的精度不够高。

发明内容

针对上述现有技术缺陷，本发明的任务在于提供一种基于多尺度特征和编解码器模型的街景图像语义分割方法，通过编码器提取多尺度特征获得较好的分类效果，再利用解码器逐渐将高层特征图还原成与输入图像同样大小的预测图，提高语义分割结果的精度。