[发明专利]卷积神经网络的语义图像分割方法

说明书

本发明揭示了一种卷积神经网络的语义图像分割方法，通过结合网络架构中部分分层特征融合和全连接的条件随机场处理实现语义图像分割。具体包括步骤：构建由卷积层、池化层、上采样层、损失函数组成的网络架构模型，且模型中每一分层的步长大小，卷积核大小以及输出的特征图个数按规格定制；对网络架构中浅层与深层的信息进行融合，并将融合后的特征进行上采样至原图分辨率大小；对上采样输出的特征图像采用全连接的条件随机场进行后处理优化分割。本发明方案的应用，通过不同分层的特征融合，充分利用了各层信息，提高了最终的准确率；结合全连接的CRF对网络输出结果进行后处理，处理了各像素点之间的联系，使得图片分割的结果更加精确和平滑。

技术领域

本发明属于语义图像分割领域，具体指采用深度学习的方法去实现语义图像分割。

背景技术

随着深度学习的不断突破，在各领域上得到了广泛应用，比如计算机视觉，语音识别，自然语言处理等。卷积神经网络（CNN）的提出使得深度学习在某种程度上成了一个热词，而全卷积神经网络（FCN）的提出，使得语义图像分割有了很大的突破，语义图像分割可以说是图像理解的基石性技术，在自动驾驶、无人机等应用中举足轻重。众所周知，图像是由许多像素点组成的，而语义图像分割，顾名思义就是对图片中的每一个像素点进行分类，即实现对图片中物体定位，也实现物体识别。在深度学习技术快速发展之前，就已经有了很多作为语义图像分割的技术，比较经典的有Normalized Cut （N-cut）和Grab cut。N-cut提出了一种考虑全局信息的方法来进行图像划分（Graph partitioning）。与 N-cut 一样，Grab cut 同样也是基于图像划分，不过 grab cut 是其改进版本，可以看作迭代式的语义分割算法。Grab cut 利用了图像中的纹理（颜色）信息和边界（反差）信息，只要少量的用户交互操作即可得到比较好的前后背景分割结果。

这些方法没有算法训练阶段，因此往往计算复杂度不高，但是其分割效果并不能让人满意。在计算机视觉步入深度学习时代之后，语义图像分割也步入了一个全新的发展阶段，其中全卷积网络（FCN）的提出可以说是深度学习在语义图像分割任务上的开创性工作，但全卷积网络也存在一些不足：

（1）在一定程度没有很好的利用上下层之间的信息，造成了信息的丢失；

（2）没有考虑到像素点之间的联系。

发明内容

鉴于上述现有技术的不足，本发明的目的旨在提出一种卷积神经网络的语义图像分割方法，利用了网络上下层的信息，也考虑到了图像像素点之间的联系。

本发明实现上述目的的技术解决方案为：卷积神经网络的语义图像分割方法，其特征在于：通过结合网络架构中部分分层特征融合和全连接的条件随机场处理实现语义图像分割。

进一步地，上述语义图像分割方法包括步骤：

构建由卷积层、池化层、上采样层、损失函数组成的网络架构模型，且模型中每一分层的步长大小，卷积核大小以及输出的特征图个数按规格定制；

对网络架构中浅层与深层的信息进行融合，并将融合后的特征进行上采样至原图分辨率大小；

对上采样输出的特征图像采用全连接的条件随机场进行后处理优化分割。

进一步地，所述网络架构模型至少含有顺次排列的五个分层，每个分层由池化层及其相关联的卷积层构成，网络架构模型的输出端接一个对应原图分辨率的上采样层，且最末端分层与上采样层之间设有特征融合单元。

更进一步地，上述特征融合单元的运作方式：第四池化层和第五池化层的输出分别接一个卷积层，转变成通道数为21的输出，然后分别接一个对应第三池化层输出分辨率的上采样层；第三池化层的输出接一个卷积层转变成通道数为21的输出，然后把转变通道数后的各输出特征图通过求和的方式进行特征融合。