[发明专利]一种基于二维三维信息双向交互的三维点云语义分割方法

说明书

本发明公开了一种基于二维三维信息双向交互的三维点云语义分割方法。该发明可以进一步增强以U‑Net为代表的U型网络的信息利用效率，加强其在不同场景下的泛化性能。以往的工作，将点云投影到二维平面或直接利用点，只是利用单独的二维或者三维信息，忽略了规则的2D图像具有细粒度的纹理信息，而不规则的3D点云包含了丰富的几何信息，两者所携带的信息是可以相互补充的。本发明提出的基于二维与三维信息双向交互的三维点云语义分割算法，通过构建3D体素与2D像素对应的投影矩阵，在相同的解码器层级，跳跃链接2D和3D的特征，为网络提供具有丰富纹理信息的2D特征和具有丰富几何信息的3D特征，实现了2D信息与3D信息的双向交互。

技术领域

本发明涉及计算机视觉的多模态三维点云语义分割领域，是基于深度学习的方法实现三维点云的语义分割。

背景技术

场景理解是计算机视觉中的一个基本而具有挑战性的问题，且近年来，随着各种3D传感器(如LIDAR，RGB-D相机等)的发展，3D数据更易获取，伴随着自动驾驶的兴起，如何理解真实的3D场景成了重中之重，而三维点云的语义分割是理解真实的3D场景必不可缺的一步。以往的工作，将点云投影到二维平面或直接利用点，只是利用单独的二维或者三维信息，忽略了规则的2D图像具有细粒度的纹理信息，而不规则的3D点云包含了丰富的几何信息，两者所携带的信息是可以相互补充的。现有的研究中，研究人员探索了大量的基于2D图像或3D点云的语义分割技术，但对2D图像与3D点云进行结合的探索还比较有限。而事实上，2D图像和3D点云是可以很好的互补的，2D图像提供详细的纹理和颜色信息，而3D点云包含强大的形状和几何知识。另外一些工作，探索了将3D信息合并到2D场景理解中，但这通常依赖视图，有限的视图角度导致深度图包含的几何信息较少；此外，也有一些工作利用2D信息来辅助3D识别，但是单向的信息流动不能很好的利用的互补的2D和3D信息，所以，探索基于2D和3D信息双向流动的技术方案是当务之急。

发明内容

为了克服互补的2D和3D信息不能互相交互，导致一些有用信息不能被合理利用的问题，本发明提出了一种基于二维三维信息双向交互的三维点云语义分割方法。该方法在相同的解码器层级，跳跃链接2D和3D的特征，以实现2D和3D特征的交互。如图1所示，本发明采用类似U-Net的网络架构，由两个对称的子网络组成，它们具有相同的层数。2D U-Net网络提取二维的纹理特征，3DMinkowskiUNet网络提取三维的几何特征，然后如图2所示，采用双向投影(BPM)的方式，实现2D与3D信息的交互。为了得到更全面的、更具有代表性的特征，本发明在解码器的不同层级都采用双向投影的方式链接2D与3D的特征，以此实现信息的交互。

本发明采用的技术方案是基于二维三维信息双向投影的方式来进行三维点云语义分割，该方法包括：

步骤1：在2D图像处理中，首先抽取多个2D视图的图像，以此来保证信息的多样性，然后利用2D U-Net网络进行特征的抽取，以获取具有丰富纹理特征2D特征信息；

步骤2：将3D点云体素化，将体素化后的点云送入3D MinkowskiUNet网络，为了减少网络的计算量和参数量，采用稀疏卷积的方式对3D体素进行特征提取，以此获取具有丰富几何信息的3D特征信息；

步骤3：在解码器中，构建双向投影矩阵，利用所得的双向投影模块BPM，实现2D和3D信息的跳跃链接，从而获取属于2D和3D的不同特征，对其进行双向交互，最后分别预测2D和3D的标签。

与现有技术相比，本发明的有益效果是：

(1)以往的点云语义分割算法，只利用单独的2D或3D信息，没有考虑2D和3D信息是可以互互补的，本发明采用U-Net网络，在解码器层级构建双向投影模块，可以有效实现2D和3D信息的双向交互；

(2)本发明采用构建的双向投影模块，为2D信息提供了更丰富的几何特征，为3D信息提供了更丰富的纹理信息，最后通过2D和3D网络，可以分别对2D图像和3D点云分别预测标签。

附图说明：