[发明专利]一种多模态三维点云分割系统和方法

说明书

本发明公开了一种多模态三维点云分割系统和方法，本发明能够很好地对对模态的数据进行融合，并且引入了先验掩膜，得到的场景分割的结果鲁棒性更好，且具有更高的分割精度；针对不同的场景，比如卫生间、会议室、办公室等场景都能有较好地预测结果，模型具有较好的泛化性；对于不用的用于提取点云特征的骨架网络，都可以尝试利用这里的特征和决策融合的模块，改善精度；如果计算条件允许，可以尝试更多的点，利用更大的区域，例如以同样的倍数扩大使用的点的个数和场景区域的大小，以提升整个模型的感受野，提升模型对整个场景的感知能力。

技术领域

本发明涉及计算机视觉、计算机图形学技术领域，尤其是一种多模态三维点云分割系统和方法。

背景技术

随着3D采集技术的快速发展，相关的传感器在我们的生活中越来越常见，比如各种各样的3D扫描设备、激光雷达和RGB-D相机等。三维点云数据被用在许多机器视觉任务中，比如自动驾驶、机器人导航、虚拟现实和增强现实等。此外，点云相关技术在医学图像处理、计算机图形学等领域均有着重要的作用。对于视觉任务来说，图像容易受到环境光照、拍摄角度的影响，且一定程度上丢失了物体的空间结构信息；而点云数据则能够包含三维空间特定场景的几何信息，且不易受光照等因素的影响，但是相对图像数据少了语义信息。将颜色信息和点云的空间结构信息融合使用，是十分具有现实意义和使用前景的。

对于点云分割任务，其目的是根据点表示的语义信息，将每个点进行分类。对理解真实的场景有十分重要的作用。到目前为止，三维点云的分割已经取得了很多的研究成果。概括起来可以分为两大类：1)基于投影的方法，将点云数据转化为规则的网格表示，充分地利用已经发展的比较成熟的卷积神经网络的技术进行处理；2)基于点的方法，利用点级别的多层感知机学习点的特征，而后通过全连接层实现分割。得益于一系列真实数据集的发布以及计算机算力的增加，深度学习在点云处理领域已经取得了巨大的成果。但是目前仍存在以下问题：1)点云数据天然存在稀疏性，易受噪声干扰，对点云的学习需要保证一定的鲁棒性；2)目前点云处理相关技术能应用的场景有限，由于其计算消耗较大，无法直接处理大规模真实点云场景；3)点云数据获取的同时，图片数据相对也是较为容易获取的，目前的方法都是在输入层面进行浅层的融合，缺乏高效的信息融合的方法。

发明内容

本发明所要解决的技术问题在于，提供一种多模态三维点云分割系统和方法，能够利用一些通用的点云特征提取网络，对其得到的深层特征和决策进行融合，从而提升点云场景的分割精度。

为解决上述技术问题，本发明提供一种多模态三维点云分割系统，包括：场景划分单元，对同时包含彩色信息和空间坐标信息的点云场景进行划分；点云位置信息特征提取单元，利用编码器解码器结构得到点云场景中每个点对应的特征以及预测结果；点云颜色信息特征提取单元，同样利用编码器解码器结构得到点云场景中每个点对应的特征以及预测结果；特征融合单元，对前面的位置信息特征提取单元和彩色信息特征提取单元，同时可以得到深层的特征已经最终的预测结果，分别得到其特征之后进行拼接操作，而后送入由多层感知机和激活函数构成的非线性映射中，得到预测结果；决策融合单元，根据前面的三个单元分别得到了三个预测结果，将其相加取平均得到新的预测结果。

优选的，还包括掩膜矩阵，对预测结果进行过滤屏蔽处理，得到最终的预测结果。

相应的，一种多模态三维点云分割方法，包括如下步骤：

(1)对收集得到的数据进行预处理，根据点云数据和图片像素之间的对应关系，反投影得到同时带有彩色信息和空间坐标的点云数据，并将整个场景划分为更小的区域；

(2)对每个区域内的点进行采样，将采样得到的点云的位置坐标信息送入点云特征提取网络提取特征并做出预测；

(3)将采样得到的点云的彩色信息送入点云特征提取网络提取特征并且做出预测；