[发明专利]一种基于事件触发相机与三维激光雷达融合系统下的物体识别与配准方法

摘要

本发明涉及深度学习、图象处理以及三维点云处理的技术领域，更具体地，涉及一种基于事件触发相机与三维激光雷达融合系统下的物体识别与配准方法。本发明提出的基于事件触发相机数据和激光雷达数据融合的系统。通过YOLO3深度学习神经网络对图像进行通用物体检测。对被检测出物体的图像使用极小值滤波器融合激光雷达的深度信息，实现实时准确地检测图像中的物体及其深度信息的目的。

主权项

1.一种基于事件触发相机与三维激光雷达融合系统下的物体识别与配准方法，其特征在于，包括以下步骤：步骤1、搭建和配准事件触发相机与三维激光雷达构成的融合系统；得到事件触发相机的内参矩阵以及事件触发相机与三维激光雷达之间的外参矩阵，利用这两个矩阵配准上述两个传感器得到的数据，使这两种数据融合；步骤2、针对事件触发相机得到的数据，对YOLO3深度学习神经网络进行微调；因为原YOLO3是对普通RGB相机得到的图片进行物体分类识别，而事件触发相机得到的图片为黑白二值图；黑白二值图相对于彩色照片来说更容易被处理，因此能够相应地对YOLO3深度学习网络进行微调，减少系统的运行负担；另外，用事件触发相机得到的数据对微调过后的YOLO3深度学习神经网络进行训练；步骤3、实现极小值滤波器；在使用微调过的YOLO3对事件触发相机得到的图片进行物体分类检测之后，每一个被识别到的物体都会有一个对应的数据结构，包括被检测到物体的可能种类的置信度以及物体在图像中的位置和大小；根据步骤1，图像中的某些像素点会被赋予深度信息；通过使用极小值滤波器，对被识别到的物体范围内的带有深度信息的像素点进行筛选，以其中深度的最小值作为该物体的深度；步骤4、启动事件触发相机与三维激光传感器的融合系统，并运行算法，能够实时分类识别物体及对物体进行定位。