[发明专利]基于视觉、激光雷达和毫米波雷达的目标检测方法

说明书

本发明公开了一种基于视觉、激光雷达和毫米波雷达的目标检测方法，包括：获取摄像头，激光雷达，毫米波雷达的探测到的原始数据，并将三者进行时间和空间同步；根据雷达协议对毫米波雷达数据进行解算；基于毫米波雷达解算后的数据的位置，速度，雷达反射面积生成三维的感兴趣区域；提取点云鸟瞰图和摄像头图像的特征图；将生成的三维感兴趣区域投影到激光雷达的点云鸟瞰图的特征图和摄像头图像的特征图；将带有预选框的特征图进行融合，融合图像进行全连接层处理。本发明利用不同的传感器数据进行数据融合，大大减少了候选框的生成数量，提高了候选框的质量，加快了识别速度，通过传感器冗余提高不同环境下目标检测的可靠性。

技术领域

本发明涉及目标检测技术领域，特别是涉及一种基于视觉，激光雷达和毫米波雷达的目标检测方法。

背景技术

随着国家大力推进人工智能的发展和智能交通行业的快速形成，智能停车、车联网、自动驾驶等领域的快速发展。目标检测技术成为了重要的研究方向。目标检测是自动驾驶领域最重要和基础的研究领域。车辆的自动驾驶离不开对周围障碍物的精确快速检测。在目标检测中车辆依靠传感器获取车辆周围的信息，包括激光雷达，毫米波雷达，超声波雷达，视觉相机等。激光雷达抗干扰能力较强、分辨率高，测距精确度高，但是在雨雾天气下适用性较差，且数据以点云格式输出，计算量较大；毫米波雷达测距精度较低，但是穿透性强，具有全天候、全天时的特点，适用于相对恶劣环境，且数据量小。为了保证车辆安全，精确实现环境感知，需采用多传感器融合技术进行数据冗余处理。

障碍物检测的方法通常有基于机器视觉的检测方法和基于雷达技术的检测方法。基于机器视觉的检测方法具有探测范围广、获取信息量大的优点。毫米波雷达则具有探测范围广，适应性好，可穿透雨雾，可以直接获得深度信息等优点。现有技术中，使用单传感器检测障碍物的方法有：申请号为CN201210143389.6的专利“一种基于单目视觉的前方车辆检测方法”，申请号为CN201410193393.2的专利“基于毫米波雷达的汽车主动防撞预警系统”，申请号为CN201710100068的专利“基于多传感器信息融合的障碍物检测方法”等。

近年来，基于多传感器信息融合的障碍物检测方法是研究的热点之一，如申请号CN201810038468.8的专利申请中公开了一种基于毫米波和激光雷达的障碍物特征提取方法。

但是现有的方法有不足之处。在做目标级别的融合专利中利用视觉相机检测到的目标和毫米波雷达检测的目标进行结果对比。在视觉相机检测阶段生成大量的锚点，消耗计算资源，生成的锚点比例尺寸固定，对大型车辆，行人等不同比例的障碍物准确率下降。在特征级别的融合中，现有专利利用毫米波雷达来生成候选区域，对候选区域进行处理，这种方法在发生毫米别波雷达遗漏目标时，不能够准确的检测目标。

发明内容

本发明的目的是提供一种基于视觉，激光雷达和毫米波雷达融合的目标检测方法，为了克服现有技术的不足。

本发明的目的是通过以下技术方案实现的：

一种基于视觉、激光雷达和毫米波雷达融合的目标检测方法，包括以下步骤；

步骤一、获取摄像头，激光雷达，毫米波雷达的探测到的原始数据；并将毫米波雷达，激光雷达，摄像头进行时间和空间同步；

步骤二、根据雷达协议对毫米波雷达数据进行解算；

步骤三、基于毫米波雷达解算后的数据的位置，速度，雷达反射面积生成三维的感兴趣区域；

步骤四、对于没有毫米波雷达点生成感兴趣区域的位置遍历生成感兴趣区域；

步骤五、对激光雷达获取的点云数据进行预处理生成鸟瞰图，提取点云鸟瞰特征图和由摄像头获取数据的特征图；

步骤六、将步骤三和步骤四中生成的三维感兴趣区域投影到步骤无中的点云鸟瞰特征图和由摄像头获取数据的特征图；