[发明专利]基于点云和影像数据的车辆目标联合认知方法和系统

说明书

本发明提出了一种基于点云和影像数据的车辆目标联合认知方法和系统，包括数据级联合模块、深度学习目标检测木块和联合认知模块，数据级联合模块获取三维点云数据和图像数据，用于将点云数据和图像数据进行融合，融合数据在深度学习目标检测模块汇总进行特征级检测识别，输出检测结果，联合认知模块采用证据理论的方法对特征级融合检测结果和数据级融合检测结果进行判断，得到一个信度分配作为输出，本发明增加了检测的稳定性和鲁棒性。

技术领域

本发明涉及无人驾驶技术领域，尤其涉及一种基于点云和影像数据的车辆目标联合认知方法和系统。

背景技术

无人驾驶车辆是一种具有自主驾驶行为的车辆，其在传统车辆的基础上，加入了环境感知、智能决策、路径规划、行为控制等人工智能模块，进而可以与周围环境交互并租出相应决策和动作的移动轮式机器人。

得益于新型传感器技术以及及其学习技术的飞速发展，无人驾驶中使用了多种传感器对周围环境进行完整、准确、鲁棒、实时的感知。环境感知的过程主要包括传感器标定、结构化道路检测、非结构化道路检测、行人检测、车辆检测、交通信号灯检测、交通标志检测等。

现有技术可以根据光学图像的检测以及三位点云数据进行结合，并通过卷积神经网络对图像特征和三位点云特征进行匹配，从而获得目标的的外包矩形框，用于目标位置的估计，然而现有方法仅能适用于汽车目标的识别检测，不适用于行人以及自行车，或者并没有完全结合三维点云数据，因此精度较低，无法直接应用于无人驾驶。

发明内容

有鉴于此，本发明提出了一种更准确更可靠的基于点云和影像数据的车辆目标联合认知方法和系统。

本发明的技术方案是这样实现的：本发明提供了一种基于点云和影像数据的车辆目标联合认知方法，包括如下步骤：

步骤一、获取激光雷达的三维点云数据和图像传感器的平面图像，将三维点云数据进行网格划分，得到多个大小一致的体素，计算每个体素内的三维点云的质点；

步骤二、根据三维点云和平面图像的几何映射关系，计算步骤一所得质点在对应平面图像上的位置，以及平面图像上该位置的图像信息；

步骤三、根据步骤一所得质点以及该质点对应的体素，计算质点与其对应体素内所有点的距离，并形成距离特征向量；

步骤四、将步骤三所得距离特征向量与步骤二所得图像信息相互融合，得到融合向量；

步骤五、将步骤四所得到的融合向量，输入到三维卷积神经网络中，计算其对应的深度特征；

步骤六、根据步骤五所得深度特征，利用区域提议网络，计算目标周围的候选区域，并对是否是目标进行训练，训练得到是否目标的分类器，用于是否目标的判断分类；

步骤七、将区域提议网络的候选目标的外包矩形信息输入到回归网络中，回归得到目标的外包矩形。

在以上技术方案的基础上，优选的，所述步骤一还包括：利用三维深度学习的框架，基于点云数据对每个体素网格内所有三维点云的点进行计算，求得质点坐标。

在以上技术方案的基础上，优选的，所述步骤二还包括：利用激光雷达传感器和图像传感器之间的几何位置变换矩阵，求得每个体素的质点对应的图像坐标，所述图像信息包括由图像的像素值构成的RGB特征向量。

在以上技术方案的基础上，优选的，步骤二中，所述图像信息的计算方法为双线性插值算法，利用该质点在平面图像上对应的点距离最近的四个像素点求得。

更进一步优选的，步骤四中，所述融合向量由距离特征向量与灰度特征向量进行向量串联。