[发明专利]一种基于视觉辅助的雷达点云分割方法

说明书

本发明公开了一种基于视觉辅助的雷达点云分割方法，雷达通过发射激光束探测目标的位置、速度等特征量，相机产生的图像数据经过深度学习神经网络的处理后，得到物体识别和定位的结果，再将图像坐标系和雷达点云坐标系进行时间和空间上的配准，使其不仅在时间戳上具有一致性，同时经过坐标系转换得到与点云坐标对应的图像坐标，随后根据之前得到的图像识别定位结果，对点云进行分割。本发明采用激光雷达和视觉处理相融合的方式，实现了三维重建中的点云分割工作，借助最近热门的深度学习视觉处理技术，缩短了点云分割处理的复杂度和处理时间。

技术领域

本发明涉及三维重建激光雷达点云数据分割技术领域，尤其涉及一种基于视觉辅助的雷 达点云分割方法。

背景技术

点云分割是三维重建工作中的重要一环，尤其是在建筑物重建问题中，考虑到重建过程 需要更多的建筑物外观细节，一般采用地面激光雷达扫描仪扫描点云数据进行重建。点云分 割的目的是区分三维点云数据中的不同物体，分割后的点云子集应该是一系列有意义的对象， 例如车辆，行人，房屋，树木等等，从而实现突出重点，分而治之，单独处理的目的。

现有的点云分割方法大多是基于数学方法，针对2.5D深度图像或TIN模型再推广应用到 非结构化三维点云中，根据所采用的数学方法，典型的点云分割方法有边缘检测法、曲面生 长法、扫描线算法、聚类算法、基于图的分割算法等等，这些算法一方面在模型转换时会产 生一定的信息丢失，另一方面大规模的点云数据处理时计算成本非常高。

发明内容

本发明的目的在于针对现有点云分割方法的不足，提供了一种基于视觉辅助的雷达点云 分割方法。本发明将点云处理与图像处理技术进行融合，通过深度学习图像处理技术，减少 了大规模点云数据处理计算量的同时，达到分割目的。

本发明为实现上述目的所采用的技术方案是：一种基于视觉辅助的雷达点云分割方法， 包括以下步骤：

(1)激光雷达扫描点云数据，利用多相机获取视觉图像信息；

(2)将步骤1获得的点云数据和图像数据分别进行时间和空间上的配准，得到点云坐标和图 像坐标的一一匹配关系；

(3)将步骤1获得的图像信息放入深度学习神经网络中进行识别和定位；

(4)根据步骤2获得的点云坐标与图像坐标的关系，以及步骤3获得的图像识别结果进行点 云分割处理；

进一步地，所述的用于深度学习神经网络识别和定位的网络结构采用SSD300(Single Shot MultiBox Detector)结构，首先使用Karen Simonyan发表在ICLR 2015的VGG-16-Atrous结构 进行卷积处理，输出的特征图记为block4；随后将block4的特征层使用大小2x2步长为2的 最大池，大小3x3x512的卷积层，大小为3x3步长为1的最大池，大小为3x3x1024的卷积层， 大小为1x1x1024的卷积层依次处理，得到的特征层记为block7；将block7的特征层用1x1x256 的卷积层处理后加入1x1的0填充再用大小为3x3x512步长为2的卷积层处理，输出的特征 图记为block8；将block8的特征图用1x1x128的卷积层进行卷机操作后加入1x1的0填充再 用大小为3x3x256步长为2的卷积层处理，输出的特征图记为block9；将block9的特征图依 次经过大小为1x1x128和3x3x256的卷积层，得到的特征图记为block10；最后将block10的 卷积层经过小为1x1x128和3x3x256的卷积层，得到的特征图记为block11。将上述得到的命 名为“block4”“block7”“block8”“block9”“block10”“block11”的六个特征图分 别用3x3的卷积层提取特征，得到预测的定位框后，经过非极大值抑制处理后得到最后的识 别和定位结果。

进一步地，所述特征层大小的计算方法为：