[发明专利]一种融合毫米波雷达与深度视觉的多目标检测与跟踪方法

说明书

本发明适用于车辆传感器和图像识别领域，提供了一种融合毫米波雷达与深度视觉的多目标检测与跟踪方法，包括以下步骤：步骤一、目标检测；步骤二、目标追踪；步骤三、速度估计；步骤四、雷达数据坐标变换；步骤五、雷达数据处理；步骤六、融合和区分。本发明针对深度视觉采用独立的处理算法，在目标识别算法（YOLOV5s）基础上增加追踪算法，能够通过摄像头采集到的信息图像对目标进行快速的识别和追踪，能够起到模拟人的双眼做到可视化识别，同时也避免了因外界环境干扰因素降低系统的鲁棒性和安全性；毫米波雷达使用独立的算法对目标进行检测识别和追踪并对结果融合；算法的快速性，能够满足汽车在高速行驶下的目标识别。

技术领域

本发明属于车辆传感器和图像识别领域，尤其涉及一种融合毫米波雷达与深度视觉的多目标检测与跟踪方法。

背景技术

在传统的汽车驾驶中，对行驶路上的汽车、行人、障碍物等目标都是通过驾驶员的眼睛观察到，然后做出相应的判断和决策。但由于复杂的交通环境和驾驶员的各种驾驶问题，仅仅驾驶员眼睛观察存在安全风险，为了减少事故的发生，智能汽车的研究逐渐的深入，目的是为了代替人类驾驶汽车在复杂的交通环境中行驶，减少人为因素而发生的交通事故，同时能够提高车辆的通行率。智能汽车的设计包括感知、决策、控制和输出这四大部分，而感知就相当于智能汽车的“眼睛”，获取外界的各种信息，包括目标的位置、速度和加速度等信息，因此感知是智能汽车设计当中的关键环节。

在构成交通事故的人、车、道路环境三要素中，人为因素占的比例最大(占55％～90％)，人的影响主要体现在交通直接参加者的性格体力上的弱点，经验不足或状态不良等。如果通过汽车的传感器获取外部的信息，利用相应的决策帮助驾驶员或者代替驾驶员做出相应的判断和决策，可以大大的提高驾驶安全性和高效性。

在传统的汽车感知当中，通常都是使用单一的传感器获得外部的相关数据信息，但由于外部环境的复杂和各种干扰的影响，导致单一传感器获得的信息的准确性和精确性不是足够的高，因此很有必要采用多传感器对同一目标进行观测，从而提高数据信息的准确性和精确性。

多传感器信息融合包括同一传感器之间的信息融合、不同传感器之间的信息融合。不同传感器的干扰因素是不同的，由于外界的环境的复杂性，这就导致如果采用同一传感器进行信息融合系统的鲁棒性就大大降低，反而起不到多传感器信息融合的优势，因此多传感器信息融合常采用不同传感器之间的信息融合。对于不同传感器之间的信息融合，通常对信息融合的方法主要有三种：1、数据级信息融合，对各个传感器之间的原始数据直接进行融合，得到新的原始数据；2、特征信息融合，各个传感器分别对目标进行相应的数据处理，得到相应的特征信息，然后对特征信息进行融合；3、决策级信息融合，各个传感器对目标进行相应的算法处理，将处理的结果进行信息融合。

上述方法中，由于数据级信息融合会丢失相应的关键原始数据和特征信息融合会丢失关键的特征信息，因此主要的信息融合方法是目标信息融合。目标信息融合的优点是各个传感器获得的数据信息和特征信息能够通过相应的算法独立的判断出目标信息，然后通过融合方法进行相应的融合。对于高速行驶的汽车，选择合适的传感器处理算法和信息融合方法尤为的重要，不但要实现准确识别，而且要满足快速性。

在现有技术当中，对于多传感器的信息融合大多数设计都是主辅关系，这对整个系统的冗余率和准确率都是不高的，而且对于传感器而言，以现在的技术和能力无法做到对物体百分百的连续识别和追踪，因此为了极大程度解决这种问题，本文提出了一种多传感器目标检测与跟踪技术的信息融合方法，各传感器采用独立的算法对物体进行检测和追踪，信息融合方法采用决策级信息融合。

发明内容

本发明实施例的目的在于提供一种融合毫米波雷达与深度视觉的多目标检测与跟踪方法，旨在解决传统单一传感器目标识别的低可靠性和低效率性的问题。

本发明是这样实现的，一种融合毫米波雷达与深度视觉的多目标检测与跟踪方法，包括以下步骤：

步骤一、目标检测