[发明专利]基于多传感器融合的三维目标实时识别机构及识别方法

权利要求书

1.基于多传感器融合的三维目标实时识别机构，其特征在于：它包括机构外盒；所述机构外盒为正五边形盒体；所述机构外盒的顶部安装有激光雷达，用于PCD中的三维目标实时识别；所述机构外盒的五边的中间位置分别安装有单目高清RGB相机，用于RGB图像中的二维目标实时识别；所述机构外盒的内部安装有计算主板，用于于收集记录并处理单目高清RGB相机和激光雷达的数据，输出实时识别结果。

2.根据权利要求1所述的基于多传感器融合的三维目标实时识别机构，其特征在于：所述单目高清RGB相机以30Hz的速率产生图像，并以1920×1080的分辨率进行压缩。

3.根据权利要求1所述的基于多传感器融合的三维目标实时识别机构，其特征在于：所述激光雷达以10Hz的频率产生数据，其具有360度的全视场。

4.根据权利要求1所述的基于多传感器融合的三维目标实时识别机构，其特征在于：所述激光雷达的收集范围为0.9-130m。

5.基于多传感器融合的三维目标实时识别方法，其特征在于：具体是按以下步骤进行的：

一、将激光雷达、单目高清RGB相机与计算主板连接，配置激光雷达和相机标定文件；

二、通过激光雷达的数据进行分析，通过输入的PCD，排除地面点云数据，并基于均值漂移的PCD检测和定位，输出物体的三维边框位置信息和跟踪信息；

三、基于步骤二的识别结果，对单目高清RGB相机的二维图像数据结果进行处理分析，并基于均值漂移的RGB图像检测与定位，输出识别物体的二维边框位置信息和跟踪信息；

四、将步骤三的二维信息映射至步骤二的三维信息中，运用卡尔曼滤波将二维三维信息融合，运用三维卡尔曼等加速模型来鲁棒地得到物体实时识别信息，即完成实时识别。

6.根据权利要求5所述的基于多传感器融合的三维目标实时识别方法，其特征在于：步骤二中，排除地面点云数据，运用核密度估计来去除地面点云信息。通过结合卡尔曼滤波的等加速模型来增加去除地面点图信息的鲁棒性，通过工程经验定义角度搜索阈值来减少离群值的影响，处理过后的点云数据通过均值漂移探测跟踪算法，输出识别物体的三维边框位置信息和跟踪信息。

7.根据权利要求5所述的基于多传感器融合的三维目标实时识别方法，其特征在于：步骤三中，将得到的三维边框信息映射到二维图像中得到二维的凸包信息。二维凸包经过比率放大，通过对数似然比的计算，得到物体判别颜色模型；在凸包范围内，通过均值漂移探测跟踪算法，输出识别物体的二维边框位置信息和跟踪信息。

8.根据权利要求5所述的基于多传感器融合的三维目标实时识别方法，其特征在于：步骤三中，运用一维结合卡尔曼滤波的等加速模型来减少光亮度对图像的影响。

9.根据权利要求5所述的基于多传感器融合的三维目标实时识别方法，其特征在于：步骤三中，基于均值漂移的RGB图像检测与定位，基于均值漂移的下一帧的对象检测和定位从当前帧中的映射的质心开始。

10.根据权利要求5所述的基于多传感器融合的三维目标实时识别方法，其特征在于：步骤四中，卡尔曼滤波用于融合和跟踪从图像和PCD获得的对象质心，采用基于卡尔曼滤波的融合模型对计算的质心进行集成，利用三维卡尔曼等加速模型用于稳健地跟踪和融合质心。