[发明专利]基于点云和影像数据的车辆目标联合认知方法和系统

摘要

本发明提出了一种基于点云和影像数据的车辆目标联合认知方法和系统，包括数据级联合模块、深度学习目标检测木块和联合认知模块，数据级联合模块获取三维点云数据和图像数据，用于将点云数据和图像数据进行融合，融合数据在深度学习目标检测模块汇总进行特征级检测识别，输出检测结果，联合认知模块采用证据理论的方法对特征级融合检测结果和数据级融合检测结果进行判断，得到一个信度分配作为输出，本发明增加了检测的稳定性和鲁棒性。

主权项

1.一种基于点云和影像数据的车辆目标联合认知方法，其特征在于，包括如下步骤：步骤一、获取激光雷达的三维点云数据和图像传感器的平面图像，将三维点云数据进行网格划分，得到多个大小一致的体素，计算每个体素内的三维点云的几何质点；步骤二、根据三维点云和平面图像的几何映射关系，计算步骤一所得质点在对应平面图像上的位置，以及平面图像上该位置的图像信息；步骤三、根据步骤一所得质点以及该质点对应的体素，计算质点与其对应体素内所有点的距离，并形成距离特征向量；步骤四、将步骤三所得距离特征向量与步骤二所得图像信息相互融合，得到融合向量；步骤五、将步骤四所得到的融合向量，输入到三维卷积神经网络中，计算其对应的深度特征；步骤六、根据步骤五所得深度特征，利用区域提议网络，计算目标周围的候选区域，并对是否是目标进行训练，训练得到是否目标的分类器，用于是否目标的判断分类；步骤七、将区域提议网络的候选目标的外包矩形信息输入到回归网络中，回归得到目标的外包矩形。