[发明专利]一种基于视觉辅助的雷达点云分割方法

权利要求书

1.一种基于视觉辅助的雷达点云分割方法，其特征在于，包括以下步骤：

(1)激光雷达扫描点云数据，利用多相机获取视觉图像信息。

(2)将步骤1获得的点云数据和图像数据分别进行时间和空间上的配准，得到点云坐标和图像坐标的一一匹配关系。

(3)将步骤1获得的图像信息放入深度学习神经网络中进行识别和定位。

(4)根据步骤2获得的点云坐标与图像坐标的关系，以及步骤3获得的图像识别结果进行点云分割处理。

2.根据权利要求1所述的基于视觉辅助的雷达点云分割方法，其特征在于：所述深度学习神经网络采用SSD300结构，首先使用VGG-16-Atrous结构进行卷积处理，输出的特征图记为block4；随后将block4的特征层使用大小2x2步长为2的最大池、大小3x3x512的卷积层、大小为3x3步长为1的最大池、大小为3x3x1024的卷积层、大小为1x1x1024的卷积层依次处理，得到的特征层记为block7；将block7的特征层用1x1x256的卷积层处理后加入1x1的0填充再用大小为3x3x512、步长为2的卷积层处理，输出的特征图记为block8；将block8的特征图用1x1x128的卷积层进行卷机操作后加入1x1的0填充，再用大小为3x3x256步长为2的卷积层处理，输出的特征图记为block9；将block9的特征图依次经过大小为1x1x128和3x3x256的卷积层，得到的特征图记为block10；最后将block10的卷积层经过小为1x1x128和3x3x256的卷积层，得到的特征图记为block11。将上述得到的命名为“block4”“block7”“block8”“block9”“block10”“block11”的六个特征图分别用3x3的卷积层提取特征，得到预测的定位框后，经过非极大值抑制处理后得到最后的识别和定位结果。

3.根据权利要求2所述的基于视觉辅助的雷达点云分割方法，其特征在于：所述特征层大小的计算方法为：

某一卷积层输入图片的长和宽为为[W,H]，卷积核大小为[F,F,N]，步长为S，padding的像素数为P，卷积后新特征层的长、宽、层数为[W’,H’,N]，W’和H’的计算公式为：

W’＝(W–F+2P)/S+1

H’＝(H–F+2P)/S+1。

4.根据权利要求1所述的基于视觉辅助的雷达点云分割方法，其特征在于：所述步骤4包括以下子步骤：

步骤4.1：已知点云与图像的配准结果，由坐标转换计算点云坐标对应的图像坐标。

步骤4.2：已知图像经由深度学习的识别和定位结果，将图像像素按识别和定位结果分类，每个定位框表示一类，剩余没有被识别框选的像素为最后一类，即背景类。

步骤4.3：将步骤4.2得到的每个点云坐标匹配的图像像素点的分类结果作为步骤4.1计算的点云坐标的分类结果。

5.一种基于视觉辅助的雷达点云分割方法，其特征在于：所述基于视觉辅助的雷达点云分割方法可以通过增加相机的数目来辅助剔除由于映射关系而被错误分割的背景点云数据，具体步骤为：

步骤1：在不同于第一个相机的位置固定另一个相机，收集图像数据。

步骤2：将点云数据和步骤1获得的相机二的图像数据进行时间和空间上的配准，得到点云坐标和图像坐标的匹配关系。

步骤3：将步骤1所得的相机二的图像放入深度学习神经网络中进行识别和定位。

步骤4：根据步骤3所得的分类结果，如果同一点云坐标，根据步骤2所计算得到的图像坐标在相机一和相机二的图像中所对应的像素均没有被识别为背景点，则该点的分割结果不变，否则，如果在任何一个图像上被识别为背景点，则将该点的分类改为背景点。