[发明专利]基于多传感器融合的三维目标实时识别机构及识别方法

说明书

本发明涉及了一种基于多传感器融合的三维目标实时识别机构及识别方法。识别机构包括机构外盒、激光雷达、单目高清RGB相机、计算主板。识别方法：通过激光雷达的数据进行分析输出物体的三维信息；基于步骤二的识别结果，对单目高清RGB相机的数据进行处理分析，输出识别物体的二维信息；将二维信息映射至三维信息中，运用卡尔曼滤波将二维三维信息融合，运用三维卡尔曼等加速模型来鲁棒地得到物体实时识别信息。本发明的一种基于多传感器融合的三维目标实时识别机构，采用多个RGB相机和激光雷达装置，实现多传感器融合的目标实时识别功能，实时得到基于识别系统坐标系中目标物体的路径，位置，速度，方向信息，结果可视化。

技术领域

本发明涉及计算机视觉领域，特别是涉及一种基于多传感器融合的三维目标实时识别机构及识别方法。

背景技术

现有多传感器融合系统只提供二维、三维之间的映射结果，没能和算法结合提供一整套专门用于实时识别的多传感器融合系统，在实际的应用上存在部署周期长，使用难度大的缺点；而且，现有目标识别方法都基于单一传感器，没有能融合激光雷达的距离信息和RGB相机图像的颜色信息，实时识别准确率低。

发明内容

本发明提供了一种基于多传感器融合的三维目标实时识别机构及识别方法，采用多个RGB相机和激光雷达装置，实现多传感器融合的目标实时识别功能，通过处理并融合二维图像、三维点云数据，实时得到基于识别系统坐标系中目标物体的路径，位置，速度，方向信息，结果能够以多边形外框的形式可视化。

基于多传感器融合的三维目标实时识别机构，它包括机构外盒；所述机构外盒为正五边形盒体；所述机构外盒的顶部安装有激光雷达，用于PCD中的三维目标实时识别；所述机构外盒的五边的中间位置分别安装有单目高清RGB相机，用于RGB图像中的二维目标实时识别；所述机构外盒的内部安装有计算主板，用于于收集记录并处理单目高清RGB相机和激光雷达的数据，输出实时识别结果。

所述单目高清RGB相机以30Hz的速率产生图像，并以1920×1080的分辨率进行压缩。

所述激光雷达以10Hz的频率产生数据，其具有360度的全视场。

所述激光雷达的收集范围为0.9-130m。

所述计算主板以20亿字节/分钟接收单目高清RGB相机和激光雷达的数据。

基于多传感器融合的三维目标实时识别方法，其具体是按以下步骤进行的：

一、将激光雷达、单目高清RGB相机与计算主板连接，配置激光雷达和相机标定文件；

二、通过激光雷达的数据进行分析，通过输入的PCD，排除地面点云数据，并基于均值漂移的PCD检测和定位，输出物体的三维边框位置信息和跟踪信息；

三、基于步骤二的识别结果，对单目高清RGB相机的二维图像数据结果进行处理分析，并基于均值漂移的RGB图像检测与定位，输出识别物体的二维边框位置信息和跟踪信息；

四、将步骤三的二维信息映射至步骤二的三维信息中，运用卡尔曼滤波将二维三维信息融合，运用三维卡尔曼等加速模型来鲁棒地得到物体实时识别信息，即完成实时识别。

步骤二中，排除地面点云数据，运用核密度估计来去除地面点云信息。通过结合卡尔曼滤波的等加速模型来增加去除地面点图信息的鲁棒性，通过工程经验定义角度搜索阈值来减少离群值的影响，处理过后的点云数据通过均值漂移探测跟踪算法，输出识别物体的三维边框位置信息和跟踪信息。

步骤三中，将得到的三维边框信息映射到二维图像中得到二维的凸包信息。二维凸包经过比率放大，通过对数似然比的计算，得到物体判别颜色模型；在凸包范围内，通过均值漂移探测跟踪算法，输出识别物体的二维边框位置信息和跟踪信息。

步骤三中，运用一维结合卡尔曼滤波的等加速模型来减少光亮度对图像的影响。