[发明专利]一种基于多传感器融合的全方位障碍物检测方法

权利要求书

1.一种基于多传感器融合的全方位障碍物检测方法，其特征在于，包括以下步骤：

S1、通过激光雷达和摄像头传感器收集不同场景下的激光点云数据和摄像头图像数据，对激光点云数据和摄像头图像数据中不同类别的障碍物进行标注，形成数据集；

S2、对数据集按一定比例进行划分；

S3、设计点云预测分支和图像预测分支，在点云预测分支中，将激光点云数据进行鸟瞰投射，经过二维网格化分割后进行特征提取得到点云数据特征，并基于点云数据特征得到点云候选框；在图像预测分支中，构建针对摄像头图像数据的障碍物检测网络模型，将摄像头图像数据输入到障碍物检测网络，得到图像候选框；在点云预测分支中，先将点云数据投影到鸟瞰视图，得到2D鸟瞰图像，采用尺寸为512×512的二维网格对点云进行分割，其中二维网格的行方向为激光雷达的正前方向，列方向垂直于正方向，通过此二维网格化分割，点云中的每个点均落在对应的二维网格内，可用网格中格子的位置索引到点云中的任意点，无序的点云数据通过此变换变成有序的二维矩阵；在尺寸为512×512的二维网格中的每个网格提取以下六个特征：网格内所有点到激光雷达原点的距离的平均值d_a；网格所有点的形心相对于激光雷达原点的夹角β；网格内点的最大高度h_m；网格内点的最大反射强度i_m；网格内点的高度平均值h_a；网格内点的数量n，

提取出每个网格的特征向量(d_a,β,h_m,i_m,h_a,n)^T后，点云数据被转换成一个尺寸为512×512×6的输入特征图，输入特征图被输入到卷积神经网络中进行训练，得到鸟瞰图中的点云候选框；

S4、将点云候选框和图像候选框通过空间配准得到三维候选框；

S5、经过空间配准后，图像数据和三维点云数据进行了融合，将融合后的数据分为两个分支进行数据处理，其中两个分支包括三维空间点云分类分支和三维候选框位置回归分支，所述三维空间点云分类分支通过三维障碍物检测子网络对融合后的三维点云进行分类，确定目标类别，以检测出障碍物目标；

S6、所述三维候选框位置回归分支计算相应类别的预测目标与标注目标的坐标偏差及其损失值，并输出经过偏移后的预测障碍物位置信息，从而得到三维空间障碍物的位置信息。

2.根据权利要求1所述的一种基于多传感器融合的全方位障碍物检测方法，其特征在于，步骤S1中：

收集不同场景下激光点云数据和摄像头图像数据，并分别对激光点云数据和摄像头图像数据进行分别标注，

对于激光点云数据，利用PCAT点云标注工具对不同类别的点云进行标注得到标签值，制作激光雷达点云数据集，

对于摄像头图像数据的标注，每帧图像的标注信息为每个目标在相应数据中的位置信息以及相对于目标的类别标签信息，利用labelImg工具对摄像头图像数据进行标注，制作摄像头图像数据集。

3.根据权利要求1所述的一种基于多传感器融合的全方位障碍物检测方法，其特征在于，收集到激光雷达点云数据后，需要对数据进行预处理，所述预处理包括：

根据激光雷达的有效距离通过脚本对采集点云进行距离裁剪，同时，对预处理完毕的得到的所有数据帧以数据集的格式进行保存，每一帧保存为一个独立文件，点云中每一个点占一行，每行的数据次序分别为(x,y,z,intenstity)，其中(x,y,z)是点的空间坐标，intensity是点的反射强度；将反射强度的数值归一化到[0,1]。

4.根据权利要求1所述的一种基于多传感器融合的全方位障碍物检测方法，其特征在于，步骤S2中将所述数据集按6：1：3的比例划分为训练集、验证集以及测试集。

5.根据权利要求1所述的一种基于多传感器融合的全方位障碍物检测方法，其特征在于，步骤S3中，在图像预测分支中，所述障碍物检测网络模型采用一阶段目标检测YOLO模型，实现摄像头二维图像数据中的障碍物检测，得到二维RGB图像候选框。