[发明专利]一种基于卷积实现的图像全景分割预测优化方法

说明书

本发明公开了一种基于卷积实现的图像全景分割优化方法，该方法使用卷积网络为每一个检测出的实例物体预测遮挡优先级排序得分值，并以该遮挡优先级排序得分值为判断依据，优化全景分割中的预测过程，以处理在全景分割中存在的不同实例物体的遮挡问题。本发明使用了卷积层作为特征提取方法，实现了可自主学习的、与预测网络一体化的优化方法，其实现方法简单，可与原有预测网络在同一框架内实现，并且能够显著提高预测结果。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于卷积实现的遮挡优先级排序得分值预测的图像全景分割预测优化方法。

背景技术

全景分割任务是近期提出的新视觉任务，在场景理解、无人驾驶中有着广泛的应用。其任务目标是对摄像机拍摄到的图像每个像素点，预测类别信息和实例ID信息。它相对于语义分割视觉任务，增加实例信息的预测；相对于实例分割视觉任务，增加了无定形区域(具有相似纹理或物质的区域，如草地，天空，道路)的预测。

全景分割任务需要融合语义分割和实例分割的预测结果，目前现有方法中采用的是最简单的基于先验逻辑判断的方法，该方法虽然能够将语义分割和实例分割的预测结果融合成全景分割，但是存在较多误判的情况。而卷积神经网络具有较强的网络学习能力，如何通过卷积神经网络实现融合算法，目前缺少具体的实现方法。

发明内容

本发明的目的在于针对现有技术的不足，提供一种基于卷积实现的图像全景分割预测优化方法，本发明优化了现有的融合方法，提高预测准确度。

本发明的目的是通过以下技术方案来实现的：一种基于卷积实现的图像全景分割预测优化方法，包括以下步骤：

(1)使用语义分割网络预测stuff填充区域；

(2)使用实例分割网络预测object实例区域；

(3)使用基于卷积实现的遮挡优先级排序得分值预测算法，对不同实例的遮挡优先级排序得分值进行预测；

(4)对实例分割网络预测的实例物体，以步骤3预测得到的遮挡优先级排序得分值为依据，从大到小进行排序，依次将每个实例物体对应的前景区域赋值到相应的全景分割的结果中，如果排序靠后的实例物体像素点位置已经被排序靠前的实例物体占用，则丢弃此类像素点；(5)将语义分割得到的stuff预测赋值到相应的全景分割的结果中，若有像素点被步骤4的实例物体占用，则丢弃此类像素点。最终得到全景分割的结果。

进一步地，所述步骤3通过以下子步骤来实现：

(3.1)将实例分割的结果投影到原图大小的特征图中，该特征图的维度是物体的类别数目，不同类别的实例预测结果会被映射到不同通道中。特征图初始化时取值为0，被映射的像素点取值为1。然后使用2层卷积核大小为3的卷积层对特征图进行变换，最后输出层级得分预测结果图。

(3.2)对得到的类别排序预测得分结果，使用softmax函数进行归一化，即每个像素点的所有通道得分值相加为1；每个实例物体的排序得分由该实例物体所有像素点在对应的类别排序预测结果图上的得分平均计算得到。

本发明的有益效果是，本发明使用卷积网络，实现了可学习的遮挡优先级排序得分预测算法，能够通过卷积神经网络实现遮挡关系的判断预测，其具有较高的准确度，显著提高预测结果。

附图说明

图1是基于卷积实现的全景分割优化方法流程图；

图2是遮挡优先级排序得分预测算法流程图。

具体实施方式

下面根据附图和实施例详细说明本发明。

本发明基于遮挡优先级排序得分预测算法的图像全景分割预测优化方法，包括以下步骤：