[发明专利]一种基于事件触发相机与三维激光雷达融合系统下的物体识别与配准方法

说明书

本发明涉及深度学习、图象处理以及三维点云处理的技术领域，更具体地，涉及一种基于事件触发相机与三维激光雷达融合系统下的物体识别与配准方法。本发明提出的基于事件触发相机数据和激光雷达数据融合的系统。通过YOLO3深度学习神经网络对图像进行通用物体检测。对被检测出物体的图像使用极小值滤波器融合激光雷达的深度信息，实现实时准确地检测图像中的物体及其深度信息的目的。

技术领域

本发明涉及深度学习、图象处理以及三维点云处理的技术领域，更具体地，涉及一种基于事件触发相机与三维激光雷达融合系统下的物体识别与配准方法。

背景技术

传统RGB相机和激光雷达都是自动驾驶车辆上常用的传感器。但是，RGB相机无法准确地获得深度信息，激光雷达的获得的点云数据会因距离越远而变得约稀疏。因此，通过将这两种传感器融合成一个系统，来弥补相互之间的缺点也是非常重要的。融合后的系统在对物体进行识别分类方面，普遍采用的是从三维激光雷达数据中找到感兴趣的区域，对该区域对应的另一传感器数据进行物体识别和分类并且获得该目标的距离等信息。

如专利名称：基于激光雷达和双目相机的车前行人检测方法及系统，申请号：CN104573646A，发明人：赵祥模；徐志刚；闵海根；张立成；周经美；杨澜；康俊民；孟凡林；尚旭明；赵佳乐；刘慧琪；王振；

该发明公开了一种基于激光雷达和双目相机的车前行人检测方法及系统。步骤如下：S1、分别用双目相机和激光雷达采集车辆前方数据；S2、对激光雷达数据使用K均值聚类算法检测疑似行人点簇{(x_i,y_i,r_i)|i＝1,2,…,m}；S3、根据每一帧检测到的点簇的中心，得到疑似行人点簇的距离、方位角、速度以及疑似行人目标的区域；S4、结合激光雷达得到的疑似行人目标区域，采用SURF特征点检测双目相机得到的数据来判断是否存在行人及行人相对于车的距离、方位角和速度；S5、将激光雷达和双目相机找到的行人的距离、方位角和速度进行卡尔曼滤波数据处理，最终得到行人相对于车的相对位置、角度和速度。

专利名称：一种融合雷达和CCD摄像机信号的车辆检测方法，申请号：CN103559791A，发明人：鲍泓；徐成；田仙仙；张璐璐；

该发明公开了一种融合雷达和CCD摄像机信号的车辆检测方法。步骤如下：S1、CCD摄像机和激光雷达分别获得路平面图像信息和路平面障碍物信息；S2、对摄像头进行矫正，通过两者的信息得到路平面坐标与图像坐标的投影矩阵，将路平面世界坐标转换成图像平面坐标；S3、提取激光雷达检测到的障碍物在视频图像中的感兴趣区域，将其输入到SVM中进行目标识别；S4、输出目标识别结果，利用激光雷达测出目标的距离。

上述现有技术中，对图像进行目标识别的方法如SURF特征点检测、SVM，速度较慢，准确率较低。

上述现有技术中，对于距离激光雷达较远的目标，其识别准确率较低。

上述现有技术中，对图像目标识别采用的算法是SURF特征点检测以及SVM，相对于YOLO3来说，SVM在求解问题分类时,要求解函数的二次规划,需要大量的存储空间；SURF在求主方向阶段太过于依赖局部区域像素的梯度方向，有可能使得找到的主方向不准确，后面的特征向量提取以及匹配都严重依赖于主方向，即使不大偏差角度也可以造成后面特征匹配的放大误差，从而匹配不成功。

上述现有技术中，都是先对激光雷达的数据进行目标识别，得到的感兴趣的区域。对该区域对应的相机的数据进行目标识别。因为激光雷达得到的点云数据，距离激光雷达越远点云就会越稀疏，这会导致无法识别到较远的目标，从而降低最终的目标识别的正确率。

发明内容