[发明专利]基于点云和影像数据的车辆目标联合认知方法和系统

权利要求书

1.一种基于点云和影像数据的车辆目标联合认知方法，其特征在于，包括如下步骤：

步骤一、获取激光雷达的三维点云数据和图像传感器的平面图像，将三维点云数据进行网格划分，得到多个大小一致的体素，计算每个体素内的三维点云的几何质点；

步骤二、根据三维点云和平面图像的几何映射关系，计算步骤一所得质点在对应平面图像上的位置，利用激光雷达传感器和图像传感器之间的几何位置变换矩阵，求得每个体素的质点对应的图像坐标，以及平面图像上该位置的图像信息，所述图像信息包括由图像的像素值构成的RGB特征向量；

步骤三、根据步骤一所得质点以及该质点对应的体素，计算质点与其对应体素内所有点的距离，并形成距离特征向量；

步骤四、将步骤三所得距离特征向量与步骤二所得图像信息相互融合，得到融合向量；

步骤五、将步骤四所得到的融合向量，输入到三维卷积神经网络中，计算其对应的深度特征；

步骤六、根据步骤五所得深度特征，利用区域提议网络，计算目标周围的候选区域，并对是否是目标进行训练，训练得到是否是目标的分类器，用于是否是目标的判断分类；

步骤七、将区域提议网络的候选目标的外包矩形信息输入到回归网络中，回归得到目标的外包矩形。

2.如权利要求1所述的基于点云和影像数据的车辆目标联合认知方法，其特征在于，所述步骤一还包括：利用三维深度学习的框架，基于点云数据对每个体素网格内所有三维点云的点进行计算，求得质点坐标。

3.如权利要求1所述的基于点云和影像数据的车辆目标联合认知方法，其特征在于，步骤二中，所述图像信息的计算方法为双线性插值算法，利用该质点在平面图像上对应的点距离最近的四个像素点求得。

4.如权利要求1所述的基于点云和影像数据的车辆目标联合认知方法，其特征在于，步骤四中，所述融合向量由距离特征向量与RGB特征向量进行向量串联。

5.如权利要求1所述的基于点云和影像数据的车辆目标联合认知方法，其特征在于，在步骤五中，所述深度特征包括了三维点云数据经三维深度学习模型之后的深度特征，图像经二维深度学习模型之后的深度特征以及距离特征和RGB灰度特征的串联特征经过三维深度学习之后的深度特征。

6.使用权利要求1所述一种基于点云和影像数据的车辆目标联合认知方法的系统，其特征在于，包括：数据级联合模块、深度学习目标检测模块和联合认知模块，所述数据级联合模块用于接收三维点云数据和图像数据，并将点云数据和图像数据进行关联融合，同时将点云数据和图像数据传递至深度学习目标检测模块，深度学习目标检测模块利用深度学习对三维点云数据和图像数据从特征级的角度出发进行检测识别，给出基于特征级融合的检测结果和数据级融合的检测结果，检测结果输送至联合认知模块，联合认知模块采用证据理论的方法对特征级融合检测结果和数据级融合检测结果进行判断，并得到一个信度分配作为输出。

7.如权利要求6所述的系统，其特征在于，所述数据级联合模块包括点云和图像几何配准子模块、点云数据处理子模块、图像数据处理子模块，点云和图像几何配准子模块，实现点云到图像之间的映射；点云数据处理子模块，在点云数据三维网格划分的基础上，实现每个网格内几何质点的计算，以及三维网格特征向量的计算；图像处理子模块，实现三维网格几何质点对应的图像灰度特征提取。

8.如权利要求6所述的系统，其特征在于，所述深度学习目标检测模块还包括特征级融合检测子模块和数据级融合检测子模块，所述特征级融合检测子模块用于提取点云数据的深度特征和平面图像的深度特征，并将点云数据的深度特征和平面图像的深度特征进行融合，最终输出三维外包矩形框，所述数据级融合检测子模块用于串联距离特征向量和灰度特征向量。

9.如权利要求6所述的系统，其特征在于，所述联合认知模块基于概率理论，分别在特征级检测结果和数据级检测结果的基础上，计算检测结果的概率分配函数，并采用Dempster组合规则计算基于特征级检测结果和数据级检测结果的概率分配函数的共同作用产生的反映融合信息的新的基本概率分配函数。