[发明专利]一种激光雷达与图像视频融合的目标检测方法

权利要求书

1.一种激光雷达与图像视频融合的目标检测方法，其特征在于，包括步骤：

S1、固定图像传感器与激光雷达的相对位置，并确保图像传感器与激光雷达具有共视区；

S2、图像传感器采集图像视频数据，激光雷达采集三维点云数据，两路数据采集保持实时同步；

S3、对图像视频数据和三维点云数据两者进行标定，获取激光点云到像素平面的映射关系矩阵T；

S4、通过数据接口实时顺序获取每帧图像数据和点云数据，运行算法并根据映射关系矩阵T融合两路数据计算得出检测结果；

S5、输出检测结果。

2.如权利要求1所述的一种激光雷达与图像视频融合的目标检测方法，其特征在于，S4中，算法的具体步骤包括：

A1、生成深度矩阵D；

A2、将像素矩阵I和深度矩阵D按通道拼接到一起，得到包含像素深度通道的像素矩阵I2；

A3、将I2输入到目标检测模型；

A4、输出结果。

3.如权利要求2所述的一种激光雷达与图像视频融合的目标检测方法，其特征在于，

A3中，还包括对模型输出层做修改，设计记忆融合结构M，记忆融合结构M具体包括：

add加法操作节点，用于进行矩阵点加法；

mul乘法操作节点，用于进行矩阵点乘法；

concat操作节点，用于进行通道拼接；

conv_block卷积模块，用于进行卷积操作、归一化操作和激活函数操作；

delay延迟操作节点，用于暂存数据。

4.如权利要求3所述的一种激光雷达与图像视频融合的目标检测方法，其特征在于，conv_block卷积模块包括conv_block1、conv_block2和conv_block3，conv_block1、conv_block2和conv_block3均为卷积操作节点、归一化操作节点和激活函数操作节点的串联。

5.如权利要求4所述的一种激光雷达与图像视频融合的目标检测方法，其特征在于，去除掉conv_block1。

6.如权利要求5所述的一种激光雷达与图像视频融合的目标检测方法，其特征在于，A2中，像素深度通道为两通道或四通道。

7.如权利要求6所述的一种激光雷达与图像视频融合的目标检测方法，其特征在于，两通道具体为灰度值和深度值。

8.如权利要求7所述的一种激光雷达与图像视频融合的目标检测方法，其特征在于，四通道具体为rgb值和深度值。

9.如权利要求8所述的一种激光雷达与图像视频融合的目标检测方法，其特征在于，目标检测模型为SSD或YOLO模型。

10.如权利要求9所述的一种激光雷达与图像视频融合的目标检测方法，其特征在于，检测结果为目标在图像平面上的位置和区域。