[发明专利]基于激光点云的城市场景语义分割细粒度边界提取方法

说明书

本发明涉及基于激光点云的城市场景语义分割细粒度边界提取方法，本发明设计了适应城市场景的深度卷积神经网络模型，对模型进行训练，然后用训练得到的模型对获取到的数据中的影像数据进行语义分割，得到基于2D影像的城市场景初步语义分割结果；通过后处理式和嵌入式两种条件随机场进行精细化边界提取；最后，通过直接变换算法根据相机的内方位元素计算出相机的外方位元素，得到影像与对应激光点云之间的整体映射，在此基础上输入点云，得到基于激光点云的精细化语义分割结果。本发明能够提高城市场景语义分割的精度和效果。

技术领域

本发明涉及一种基于激光点云的城市场景语义分割细粒度边界提取方法。

背景技术

近年来，随着大规模数据集的出现，计算机硬件成本的降低以及GPU并行计算能力的提高，深层神经网络(Deep Convolutional Neural Networks,DCNNs)的应用更加广泛。DCNNs与传统手工制作的特征不同，DCNNs能够从数据中自动学习丰富的特征表示，因此在语义分割等许多计算机视觉问题上表现出色。DCNNs中的全卷积神经网络(FullyConvolutional Networks,FCNs)是DCNNs的一种，其在提取特征上的表现尤为突出。对于场景语义分割任务来说，不同类别标签之间的全局上下文信息影响其精准定位。然而，FCNs由于其全卷积特性不具备为不同类别标签之间的上下文关系进行建模的能力；具有较大感受野的卷积核得到的语义分割结果比较粗糙；同时，池化层产生的层次特征也会丢失部分定位信息，进一步降低了输出精细化语义分割结果的可能性，场景分割效果示例如图1所示。

2017年，斯坦福大学的Charles等人提出了PointNet和PointNet++框架，直接以原始点云作为深度神经网络的输入，属于深度学习成功应用于三维点云的一项开创性的工作，为分类(classification)、构件分割(part segmentation)和场景语义分割(semanticsegmentation)提供了一个通用框架。PointNet模型针对点云数据的特点，使用MaxPooling作为对称函数来处理点云模型的无序性，使用两个T-net网络对模型进行旋转不变性处理。该模型的不足之处在于只使用一个MaxPooling层整合单点特征，网络对模型局部信息的提取能力不足。针对该问题，同年6月该研究团队对PointNet进行改进，提出了其分层网络结构PointNet++，该模型先对点云进行采样(sampling)和区域划分(grouping)，在各个小区域内采用基础的PointNet网络进行特征提取，根据需求使该过程迭代多次，然后对点云的全局和局部特征进行融合，但由于该模型首先要为每个区域选择质点，然后为每个质点在其大规模邻域内运行PointNet，计算量代价非常大，计算效率远远低于PointNet。

后续，在此启发下，并以此为基准，相继出现了一些新的LiDAR点云语义分割框架。但由于点云数据具有海量，无规则等特性，计算复杂度远超对2D图像的处理，计算效率明显降低。另外，经DCNNs模型训练得到的分割结果，可实现三维点级的分割，并且保持较高精度，但其分割边缘信息细粒度不够完整。具有多个最大池化层的深层模型有较好的分类性能，然而空洞卷积带来的大的感受野和模型固有的不变性不能得到很好的目标定位，只能产生平滑的响应，网络中并没有考虑三维点之间的关联性。

针对该挑战，目前基于深度卷积神经网络的多目标分割边界细化问题，主要集中在图像分割领域。在处理多类图像分割和标签任务时，常见的方法是用CRFs对图像的像素或者图像块进行最大后验推理。CRFs势函数合并了在相似像素中最大化标签一致性的平滑项，并且可以整合建模各类别间上下文关系的更加复杂的项。