[发明专利]一种融合毫米波雷达与深度视觉的多目标检测与跟踪方法

权利要求书

1.一种融合毫米波雷达与深度视觉的多目标检测与跟踪方法，其特征在于，包括以下步骤：

步骤一、目标检测

深度视觉获取摄像头拍摄的视觉图像，并对图像进行处理得到目标先验框；

步骤二、目标追踪

利用两帧间欧式距离追踪算法对目标先验框进行连续的追踪，从而获得识别目标的标记框、目标类别Label以及目标ID；

所述目标ID具体位置当前目标计数序号，即第几个出现的目标；

步骤三、速度估计

对识别后的目标进行两帧图像上的位移计算，从而计算得出图像中识别目标的速度估算；

步骤四、雷达数据坐标变换

利用坐标系变换转变将毫米波雷达探测物体获取的极坐标系与深度视觉获取的图像坐标系变为统一的坐标系；

步骤五、雷达数据处理

利用动静分层对毫米波雷达原始数据进行处理，得到点云数据，再利用密度聚类算法DBSCAN对有效数据进行聚类，得到先验聚类框，对其中速度异常的数据进行滤除；根据聚类之后的信息中选取靠近聚类框中心点的合理代表数据，采用卡尔曼滤波器对目标进行连续追踪，去除无效聚类信息，从而得到被检测物体有效的量测数据包括纵向距离、纵向速度、侧向距离和侧向速度，并在对应时刻的图像上记录各聚类框；

步骤六、融合和区分

融合后利用速度偏差和面积重合度对深度视觉和毫米波雷达识别的结果进行融合和区分，并将识别结果呈现在图像上，从而实现决策级融合的决策得到准确识别结果。

2.根据权利要求1所述的融合毫米波雷达与深度视觉的多目标检测与跟踪方法，其特征在于，步骤一中所述深度视觉基于卷积神经网络的YOLOV5s算法。

3.根据权利要求1所述的融合毫米波雷达与深度视觉的多目标检测与跟踪方法，其特征在于，步骤二中所述目标追踪的具体步骤为：

a、利用先验框中目标标记结果Boxes并计算出先验框的中心点，再给这个先验框加上目标ID；

b、比较前后两帧图像的先验框中心点之间的欧氏距离，如果小于指定的阈值就认为是相同的目标，标记目标ID不变，并对所有识别目标在图像上画出标记框、目标类别Label和目标ID；

c、如果目标的先验框在图像上消失，删除目标在图像上画出标记框、目标类别Label和目标ID；

d、在某一帧图像中有新先验框出现时，在检测的当前帧图像中先给上一帧已经确定是目标的物体更新中心点坐标，再给剩余的先验框中的目标在图像上画出标记框、目标类别Label和目标ID；

e、对所有图像或者视频中所有帧数重复循环两帧图像计算法，直至结束。

4.根据权利要求1所述的融合毫米波雷达与深度视觉的多目标检测与跟踪方法，其特征在于，步骤三中所述速度估计的公式如下：

其中，V_f是实际物理估算速度，S_p是两帧图像上物体位移的像素距离，T_t是两帧之间的时间间隔，θ像素距离和实际距离映射估计值。

5.根据权利要求1所述的融合毫米波雷达与深度视觉的多目标检测与跟踪方法，其特征在于，步骤四中所述雷达数据坐标变换具体为：将毫米波雷达获得原始点云数据的极坐标系转换成三维坐标系；再将点云信息进行相应的坐标变换，即将毫米波雷达的二维坐标变换到图像坐标中。

6.根据权利要求1所述的融合毫米波雷达与深度视觉的多目标检测与跟踪方法，其特征在于，步骤六中所述融合和区分的具体步骤为：

a、对同一时刻，基于深度视觉识别出的标记框和基于毫米波雷达映射到对应时刻图像上的聚类框进行面积重合度计算δ；

b、对同一时刻，基于估算出的深度视觉图像上所有目标速度估计值和基于毫米波雷达得到各聚类框量测代表数据中的速度进行计算速度偏差ε；

c、如果两者的识别结果若融合为同一目标，则必须同时满足面积重合度大于等于设定阈值β和速度偏差小于等于设定阈值γ，即如果不能同时满足条件，则认为不是同一目标；

d、如果深度视觉算法未识别到的物体，而毫米波雷达识别算法识别到了的物体，则在对应图像上画上该聚类框，并赋予新目标ID，对于毫米波雷达数据处理的目标ID赋予方法和删除方法类似于图像欧式距离追踪算法所述原理；如果深度视觉算法识别到的物体，而毫米波雷达识别算法未识别到的物体，则保留深度视觉系统的识别目标标记框、目标类别Label以及目标ID。