[发明专利]一种激光雷达与图像视频融合的目标检测方法

说明书

本发明涉及图像检测技术领域，具体涉及一种激光雷达与图像视频融合的目标检测方法，包括步骤：S1、固定图像传感器与激光雷达的相对位置，并确保图像传感器与激光雷达具有共视区；S2、图像传感器采集图像视频数据，激光雷达采集三维点云数据，两路数据采集保持实时同步；S3、对图像视频数据和三维点云数据两者进行标定，获取激光点云到像素平面的映射关系矩阵T；S4、通过数据接口实时顺序获取每帧图像数据和点云数据，运行算法并根据映射关系矩阵T融合两路数据计算得出检测结果；S5、输出检测结果。本发明解决了单幅图像只能提供二维图像平面的像素信息，导致检测准确率下降和误检率升高的技术问题。

技术领域

本发明涉及图像检测技术领域，具体涉及一种激光雷达与图像视频融合的目标检测方法。

背景技术

在基于图像的目标检测中，传统的做法是对单张图片应用普通深度神经网络结构进行目标兴趣区域的定位和识别分类，该方式检测准确率和误检率都不够理想，尤其是对小目标、被遮挡的目标、模糊图像以及光照过暗和过强图像的检测。

比如，文件CN110175576A公开了一种结合激光点云数据的行驶车辆视觉检测方法，首先完成激光雷达与摄像机的联合标定，再进行时间对准；计算标定后的视频数据中相邻两帧间的光流灰度图，并基于光流灰度图进行运动分割，得到运动区域，即候选区域；基于各帧图像对应的时间对准后的点云数据，在候选区域对应的锥形空间内搜索车辆对应的点云数据，得到运动目标的三维包围框；基于候选区域，在各帧图像上提取方向梯度直方图特征；提取三维包围框中的点云数据的特征；基于遗传算法，将得到的特征进行特征级融合，融合后对运动区域分类，获得最后的行驶车辆检测结果。

但是，由于单幅图像只能提供某一时刻二维图像平面的像素信息，其受光照、分辨率、方法倍数、相机聚焦与运动的影响较大，会导致检测准确率下降和误检率升高。

发明内容

本发明提供一种激光雷达与图像视频融合的目标检测方法，解决了由于单幅图像只能提供某一时刻二维图像平面的像素信息，其受光照、分辨率、方法倍数、相机聚焦与运动的影响较大，会导致检测准确率下降和误检率升高的技术问题。

本发明提供的基础方案为：一种激光雷达与图像视频融合的目标检测方法，包括步骤：

S1、固定图像传感器与激光雷达的相对位置，并确保图像传感器与激光雷达具有共视区；

S2、图像传感器采集图像视频数据，激光雷达采集三维点云数据，两路数据采集保持实时同步；

S3、对图像视频数据和三维点云数据两者进行标定，获取激光点云到像素平面的映射关系矩阵T；

S4、通过数据接口实时顺序获取每帧图像数据和点云数据，运行算法并根据映射关系矩阵T融合两路数据计算得出检测结果；

S5、输出检测结果。

本发明的工作原理及优点在于：通过融合激光雷达数据以获取场景三维深度信息、融合视频流以获取图像各历史时刻信息，视频数据对动态历史的记录能为算法提供记忆信息，充分利用更多的信息来提升检测准确率，增强了算法对局部帧出现干的鲁棒性。通过这样的方式，当目标暂时被遮挡、运动造成相机的聚焦突然模糊、动态目标由近到远导致在画面中所占区域变小时，由于激光雷达抗光照干扰能力强，能够明显提升目标检测准确率、降低误检率。

本发明通过融合激光雷达数据以获取场景三维深度信息、融合视频流以获取图像各历史时刻信息，解决了由于单幅图像只能提供某一时刻二维图像平面的像素信息，其受光照、分辨率、方法倍数、相机聚焦与运动的影响较大，会导致检测准确率下降和误检率升高的技术问题。

进一步，S4中，算法的具体步骤包括：

A1、生成深度矩阵D；

A2、将像素矩阵I和深度矩阵D按通道拼接到一起，得到包含像素深度通道的像素矩阵I2；