[发明专利]基于改进SOLOv2的校园场景图像分割方法

说明书

本发明公开了一种基于改进SOLOv2的校园场景图像分割方法，包括：步骤1：对待检测图像进行主干网络特征提取以得到对应的多层特征信息；步骤2：将多层特征信息送入到改进后的特征金子塔中进行细化并融合；步骤3：将融合后的信息送入到Head头部进行分析，通过两个并行的子通道，进行类别信息分析和mask实例分割；步骤4：通过矩阵非极大值抑制保留最高置信度的掩码信息以及类别信息，步骤5：将mask特征图映射回原图像上，输出带有特征mask掩码的图像。本发明提供一种基于改进SOLOv2的校园场景图像分割方法，能有效提升了对密集人群情况下的分割精度和召回率，且在面对目标遮挡和物体残缺的情况下，本发明算法的性能明显优先于其他算法。

技术领域

本发明涉及一种基于视觉的校园道路场景的图像目标特征识别领域。更具体地说，本发明涉及一种用用于校园道路场景这种会存在密集物体和遮挡物体情况下的基于改进SOLOv2(实例分割)的校园场景图像分割方法。

背景技术

校园场景作为一种较为特别的道路交通场景，相比于城市交通场景而言，拥有行人密集、道路宽度更窄，学生出行成群等特点。如今无人驾驶技术已经逐步渗透到人们的生活当中，用于校园道路场景下的无人接驳车自动驾驶技术也成为了当下高校的研究热点。

在无人接驳车环境感知部分，通常通过摄像头对道路环境信息进行采集，通过相应算法对图像中的所需特征物体，例如行人、车辆、自行车等进行像素级的分割，并按照每个独立的物体打上彩色掩码，以获得各个目标物体的掩码信息，而现有的方法而言主要存在未考虑在场景中出现人群密集、存在大量物体遮挡、目标残缺的情况，故对于遮挡、残缺的目标无法进行分割识别的缺点。

以基于深度卷积神经网络的室外场景多目标分割方法为例，主要包括以下步骤：1)特征提取步骤：深度网络将原始输入图像通过多个卷积层加上池化层的组合得到4个不同尺度的特征谱；卷积操作通过点卷积加深度卷积组合实现；2)特征融合步骤：把特征提取步骤里面的两个不同尺度的特征做融合操作；先将较小尺度的特征谱反卷积恢复到较大尺寸的特征谱的尺寸，再将两个输入谱上相同位置上的元素按照对应位置的滤波器系数进行加权求和得到融合特征谱；3)多尺度池化步骤：对融合特征谱使用4个不同尺度的池化操作，不同尺度的池化后在每个特征谱上接上一个卷积操作，然后分别用双线性插值的方式恢复到输入的融合特征谱的尺寸大小，最终将4个特征谱进行连接，得到池化输出特征谱；4)上采样步骤：上采样网络由两个卷积层和数据变换层组成，确定要恢复的原始图像的高宽与两个卷积层后输出特征谱高宽相差n倍，则把输出谱按照每n2个通道中同一位置的像素点重新在一个图像中排列成n*n的区域，两个卷积层后输出特征谱经数据变换层得到恢复到原图像尺寸的特征谱。其存在的缺点就在于：

1、上采样和下采样过程中使用的1*1卷积变换通道的方式过于直接和粗暴，容易导致深层次的语义信息丢失；

2、当面临图像中存在物体数量较多，出现大量遮挡时，就会出现难以有效进行融合的问题；

3、当场景中目标物体出现密集、遮挡、残缺时，特征物体的上下文语义信息将会相差很大，易造成融合时出现较大语义鸿沟，难以保证分割精度，以及有效的检测效果。

发明内容

本发明的一个目的是解决至少上述问题和/或缺陷，并提供至少后面将说明的优点。

为了实现根据本发明的这些目的和其它优点，提供了一种基于改进SOLOv2的校园场景图像分割方法，包括：

步骤1：对待检测图像进行主干网络特征提取以得到对应的多层特征信息；

步骤2：将多层特征信息送入到改进后的特征金子塔中进行细化并融合；

步骤3：将融合后的信息送入到Head头部进行分析，通过两个并行的子通道，进行类别信息分析和mask实例分割；