[发明专利]一种基于双边分割网络的车载图像语义分割系统

说明书

本发明公开了一种基于双边分割网络的车载图像语义分割系统，包含：数据存储模块，用于存储车载图像训练集和待测车载图像；双边分割网络包含空间通道和上下文通道，空间通道用于提取车载图像的空间信息，上下文通道用于提取车载图像的上下文语义信息；训练模块，用于利用车载图像训练集训练双边分割网络；语义分割模块，用于利用训练好的双边分割网络，预测待测车载图像，得到待测车载图像中每个像素所属的类别。本发明提出的包含空间通道与上下文通道的双边分割网络，所述空间通道用于提取图像的空间信息的同时保留足够的空间信息，所述上下文通道用于提取图像的上下文语义信息的同时保证足够大的感受野。

技术领域

本发明属于模式识别技术领域，更具体地，涉及一种基于双边分割网络的车载图像语义分割系统。

背景技术

图像语义分割是计算机视觉中的基石问题之一，可广泛地应用于增强现实设备、自动驾驶、视频监控等场景中。图像语义分割，也就是对图像中每个像素赋予一个语义标签，即识别出每个像素所属类别，以此同时也能分割出不同物体。

目前，实时的图像语义分割算法主要是通过以下三种方式来加速模型：1)通过修剪或调整图像，进而约束输入图像的大小，从而减少计算的复杂度；2)通过修剪网络的通道数，特别是在基础模型的初期阶段进行通道剪枝，从而减少推断时间；3)通过丢弃模型的末尾阶段，从而得到一个非常紧凑的网络框架。但是，上述方法都存在各自的缺点，方法1)和2)会导致空间信息的缺失，方法3)中末尾阶段没有用到下采样，会导致没有足够大的感受野。这些方法都是利用精度换取速度，在实践上这些方法并不可取。

U型结构的引入可以修补上述方法所造成空间信息的缺失，通过融合骨干网络分层的特征，U型结构能逐渐增加空间分辨率且能填补缺失的信息。但是这种技术有两个缺点：高分辨率特征图的引入会造成额外的计算；不能恢复由通道剪枝和图像裁剪所造成的大部分缺失空间信息。因此，这种技术也只是能减轻空间信息缺失程度，并不是一个本质的解决方案。

发明内容

针对现有技术的缺陷，本发明的目的在于解决现有技术实时图像语义分割方法存在的空间信息缺失以及感受野缩减等技术问题。

为实现上述目的，本发明实施例提供了一种基于双边分割网络的车载图像语义分割系统，所述系统包含数据存储模块、训练模块、双边分割网络和语义分割模块：

所述数据存储模块，用于存储车载图像训练集和待测车载图像；

所述双边分割网络包含空间通道和上下文通道，所述空间通道用于提取车载图像的空间信息，所述上下文通道用于提取车载图像的上下文语义信息；

所述训练模块，用于利用车载图像训练集训练所述双边分割网络；

所述语义分割模块，用于利用训练好的双边分割网络，预测待测车载图像，得到待测车载图像中每个像素所属的类别。

具体地，所述空间通道包含3层，每层包含依次连接的卷积层、BN层、ReLU函数，车载图像经过空间通道之后，获得尺寸为原始车载图像尺寸的1/8、且通道数为128的特征图。

具体地，所述上下文通道包含轻量化网络模型Xception和两个注意力提纯模块，图像经过上下文通道后获得通道数为128的特征图。

具体地，所述轻量化网络模型Xception包括4个下采样阶段，第一下采样阶段对图像进行快速下采样，第二下采样阶段、第三下采样阶段、第四下采样阶段均对上一个下采样阶段输出的特征图进行下采样。

具体地，注意力提纯模块，利用全局均值池化获取全局的上下文信息，并通过注意力向量指导特征的学习，用于去除下采样特征图包含的冗余信息。

具体地，所述注意力提纯模块的输入，依次经过全局均值池化层、卷积层、BN层、ReLu函数，得到的维度与输入的通道数相等的向量，该向量与注意力提纯模块的输入相乘，获得通道数为128的特征图。