[发明专利]基于对抗式学习与多模态学习的点云语义分割方法及系统

说明书

本发明涉及一种基于对抗式学习与多模态学习的点云语义分割方法与系统，该方法包括如下步骤：在源领域与目标领域上，建立3D点云数据与2D前视图像之间的对应关系，将3D点云数据上的标签传递至2D前视图像的采样点上；根据包含类别标签的源领域数据以及无类别标签标注的目标领域数据，对判别器、二维图像子网络以及三维点云子网络进行训练，至收敛后以建立得到点云语义分割网络模型；将目标领域中的3D点云数据以及对应的2D前视图像输入至点云语义分割网络模型中，经语义分割网络模型计算得出点云语义分割结果。本发明提出的点云语义分割方法，可提高模型从源领域到目标领域的泛化性，并减小了标注的工作量。

技术领域

本发明涉及计算机语义分割计算技术领域，特别涉及一种基于对抗式学习与多模态学习的点云语义分割方法及系统。

背景技术

在计算机领域中，对三维场景的理解有着非常广泛的应用，特别是在机器人、自动驾驶以及虚拟现实领域等。在与此相关的各种任务中，三维点云的语义分割技术获得越来越多的关注。

具体的，三维点云指的是某个坐标系下的点的数据集。点云数据除了具有三维的几何位置以外，还可能包含了其它丰富的信息，例如颜色、分类值、强度值以及时间等。如图1(a)所示，该组点云除了空间位置信息以外，还包含颜色信息，其中不同的颜色表示离深度摄像头距离的近远。此外，点云的语义分割指的是根据点云中点的属性，赋予点云中每个数据点预先定义的类别标签。例如将点云中的点归类为车辆、路面、行人以及建筑等等。如图1所示，根据一定的算法或者规则，将图1(a)中的点云经语义分割得到图1(b)中所示的分割结果，其中不同类别的点用不同颜色进行代替。例如，绿色可以表示植被，橙色可以表示车辆，粉色可以表示路面等等。

由于点云数据集容易受到光照与地点的影响。例如，白天和夜晚的点云数据具有较大差异。由于不同数据领域之间的差异，很难保证点云分割模型的泛化性。比如利用带有人工语义标注的源领域数据集，进行训练得到点云语义分割模型，该模型直接在无人工语义标注的目标领域数据集上的测试精度较低。与二维图像人工标注相比，三维点云人工语义标注工作量巨大。在训练数据较为匮乏的情况下，为提高模型在不同数据集上的泛化性，目前的方案主要有两种做法：(1)大量标注目标领域的数据训练模型。此种做法可在一定程度上提高模型在目标领域上的表现。然而此种做法耗时耗力，也忽视了源领域数据和目标领域数据之间的联系。高昂的人工标注成本制约了点云语义分割的大规模应用。(2)采用领域自适应技术缩小领域间的差异。当前主要的领域自适应技术应用在二维图像语义分割上，而点云语义分割方案则较少采用领域自适应技术。此外，以往的解决方案基本只关注点云这一种模态的数据，然而通常情况下所采集到的三维数据集是多模态的，即由二维图像与三维点云构成。

以往的研究经验表明：多种模态数据的互补性可增强观察者对场景的语义理解。然而，目前没有研究方案可充分挖掘图像与点云两种模态的信息，以提高点云语义分割模型的泛化性。基于此，为减少人工标注的工作量，并提高点云语义分割算法在不同数据集上的泛化性，有必要提出一种新型的点云语义分割算法。

发明内容

基于此，本发明的目的是为了解决现有技术中，由于不同数据领域之间差异，很难保证点云分割模型的泛化性的问题。

本发明提出一种基于对抗式学习与多模态学习的点云语义分割方法，其中，所述方法包括如下步骤：

数据预处理：分别在源领域与目标领域上，建立3D点云数据与2D前视图像之间的对应关系，并根据所述对应关系，将所述3D点云数据上的标签传递至所述2D前视图像的采样点上，以在所述2D前视图像上得到包含类别标签的源领域数据；

模型训练与建立：根据所述包含类别标签的源领域数据以及无类别标签标注的目标领域数据，对判别器、二维图像子网络以及三维点云子网络进行训练，至收敛后以建立得到点云语义分割网络模型；

输出结果测试：将目标领域上任一所述3D点云数据以及对应的所述2D前视图像输入至所述点云语义分割网络模型中，经语义分割网络模型计算得出点云语义分割结果。