[发明专利]一种基于激光雷达、图像前融合的目标检测方法

摘要

本发明涉及一种基于激光雷达、图像前融合的目标检测方法，通过激光雷达和摄像头联合校准，得到摄像头视角的激光雷达点云数据，然后在将数据输入到神经网络之前，首先对激光雷达数据集进行球面投影，从而到一个稠密的、二维的数据，之后将激光雷达投影得到的图像和摄像头图像分别作为网络的两个输入，分别学习彩色和三维特征，最后通过一个1×1的卷积块，将两个模态的特征融合，实现基于雷达和视觉前融合的目标检测；该方法不同于传统视觉和雷达分别检测，最后采取加权的后融合方式，采用激光雷达和图像两个对应的输入，分别学习特征，最后融合，可以提高目标识别的准确性，同时获取目标的类别以及三维信息。

主权项

1.一种基于激光雷达、图像前融合的目标检测方法，其特征在于：包括以下步骤：第一步：在离线状态下，标定激光雷达以及摄像头的内参数和外参数，对摄像头获取的图片去畸变，实现激光雷达、摄像头的精确配准，即完成空间同步：第二步：激光雷达、摄像头同时实时对车辆在行车过程中的环境进行采集，获取同步时间戳的激光雷达数据、同步时间戳的且去畸变的图像数据，形成激光雷达点云数据集、图像数据集，即获取完成时间同步的数据；第三步：将前述获得的激光雷达数据集和图像数据集匹配，只保留摄像头视角的激光雷达点云数据集，然后将图像数据集、激光雷达点云数据集分别进行标签标注；第四步：将完成标签标注的激光雷达点云数据集进行球面投影，图像数据集不改变，将球面投影后得到的激光雷达点云数据集、图像数据集作为两个输入，分别学习彩色和三维特征，通过一个1×1卷积块将两个模态的特征融合，最终输出一个训练完成的深度卷积网络模型；第五步：在车辆实时运行过程中，激光雷达、摄像头实时捕获车辆道路场景信息，将球面投影后的激光雷达点云数据、去畸变的摄像头图像数据同时输入至训练完成的深度卷积网络模型，实时获取当前帧内的环境目标障碍物的位置和类别。