[发明专利]一种带有双向连接和遮挡处理的全景分割方法

说明书

本发明公开了一种带有双向连接和遮挡处理的全景分割方法。方法包括如下步骤：1)获取用于训练全景分割的数据集，并定义算法目标；2)使用全卷积网络对组内图像进行特征学习；3)经过语义特征提取分支对特征图提取语义特征；4)经过实例特征提取分支对特征图提取实例特征；5)建立实例分割到语义分割的连接，将语义特征与实例特征聚合进行语义分割；6)建立语义分割到实例分割的连接，将实例特征与语义特征聚合进行实例分割；7)使用遮挡处理算法，融合语义分割和实例分割的结果，输出全景分割结果。本方法充分利用了语义分割和实例分割之间的互补性，同时应用底层特征表观信息所提出的遮挡处理算法，高效地完成了图像的全景分割。

技术领域

本发明属于计算机视觉领域，特别地涉及一种带有双向连接和遮挡处理的全景分割方法。

背景技术

全景分割任务是语义分割任务和实例分割任务的集合，其不仅要求在像素级别预测语义类，还要求对前景类别区分实例。这一任务是场景理解的重要基础性任务，在自动驾驶等领域有广阔的应用价值。目前的主流技术路线分为自顶向下和自底向上两种方式。自顶向下的方法先找到实例的包围框，再确认框内逐像素是否属于该实例。自底向上的方式先预测逐像素的实例归属，再据此生成包围框。就经验结果来看，自顶向下的技术路线的性能往往比自底向上更优。

然而，自顶向下的方案存在两大问题。第一，在这一方案中，对语义分割和实例分割两个任务存在两个子网络，但是这两个子网络间缺乏信息传播的途径。因而，这两个任务间的互补性没有被很好地利用。第二，对于检测到的实例，可能存在相互遮挡的情况。过去的方法依赖于目标的类别得分来处理遮挡关系，但由于类别得分与数据分布等其他因素的相关性，这一做法显然不是最优的。如何解决这两个问题，成为了自顶向下的全景分割方法的关键。

发明内容

为了解决这两个问题，本发明提出了一种带有双向连接和遮挡处理的全景分割方法。该方法基于深度学习网络，通过在语义分割和实例分割间建立双向连接，使得这两个任务间特征可以相互加强。另外，我们提出了一个遮挡处理算法来专门处理实例间的遮挡问题。通过这两点，本发明的方法得以获得了优异全景分割性能。

本发明的技术方案包含以下步骤：

一种带有双向连接和遮挡处理的全景分割方法，其包括以下步骤：

S1.获取用于训练全景分割的数据集，并定义算法目标；

S2.使用全卷积网络对数据集中的图像进行特征提取后得到其特征图；

S3.使用语义特征提取网络对特征图提取语义特征；

S4.使用实例特征提取网络对特征图提取实例特征；

S5.建立实例分割到语义分割的连接，将语义特征与实例特征聚合进行语义分割；

S6.建立语义分割到实例分割的连接，将实例特征与语义特征聚合进行实例分割；

S7.使用遮挡处理算法，融合语义分割和实例分割的结果，输出全景分割结果。

在上述方案基础上，各步骤还可以进一步采用如下的优选方式实现。

作为优选，步骤S1所述的算法目标为：对用于全景分割的数据集中的每一张图片I，对于I中出现的背景像素，识别其所属的语义类别；对于I中出现的前景像素，识别其所属的语义类别和所属实例。

作为优选，步骤S2中使用一个全卷积神经网络φ对图像中的每一个像素提取特征，得到该图像的特征图F＝φ(I)。

作为优选，步骤S3中使用一个全卷积神经网络ψ对特征图提取语义特征，即输入S2中提取的特征图F，提取其语义特征S＝ψ(F)＝ψ(φ(I))。

作为优选，步骤S4中所述的提取实例特征具体包含以下子步骤：