[发明专利]一种毫米波雷达与深度学习视觉融合的前方多车辆跟踪方法

权利要求书

1.一种毫米波雷达与深度学习视觉融合的前方多车辆跟踪方法，其特征在于，包括以下步骤：

A、建立毫米波雷达坐标系与摄像机坐标系之间的坐标转换关系，将二者的坐标系进行统一，使用毫米波雷达和摄像机两者的最低采样频率进行采样，以保持时间上的一致性；

B、对毫米波雷达的数据进行接收，按规则进行解算，并进行相应的处理，从而筛选出前方车辆，剔除掉无效目标；

C、对步骤B中接收到的毫米波雷达数据进行滤波，利用卡尔曼滤波对前方车辆进行跟踪，并生成轨迹对其进行编号；当有新的车辆出现时，通过雷达采集到的数据解算确定后，进行跟踪生成新的轨迹并添加编号；具体包括以下步骤：

C1、使用卡尔曼滤波，对下一周期的车辆状态进行预测，读取下一周期的毫米波雷达实测数据，将预测状态与实测状态预测进行匹配，以四帧为一周期，步长为两帧；

步骤C1具体包括以下步骤：

C12、利用卡尔曼滤波算法对检测到的前方多车辆目标的下一周期的状态进行预测；

C13、对前方多车辆目标的下一周期的实际测量值与上一周期的预测值进行比较，并进行一致性检验；

C14、对于满足一致性要求的目标，更新其数据信息，并进行下一周期的预测；当连续两个周期均满足一致性要求，则生成轨迹；对于不满足一致性要求的目标，将其视为新出现的车辆，暂时保留，对于在下一周期未检测到的车辆，则视为目标消失；

C2、对于新出现的车辆，重复步骤C1，其进行重新编号，并生成新的轨迹；

D、对摄像机采集到的图像进行预处理；

E、离线训练深度学习神经网络，对前方车辆进行识别；

F、将步骤D中已经进行了预处理的图像送入到步骤D预训练的深度学习神经网络中去，对前方的车辆目标进行检测和定位，得出前方多车辆在图像中的位置及检测可信度，对可信度低于M％的车辆信号删除，并将车辆进行编号；

G、利用在线跟踪模型对步骤F中检测到的车辆进行跟踪并生成车辆的轨迹并编号；具体包括以下步骤：

G1、计算前后两帧图像之间检测到的车辆的欧氏距离，依照距离对距离较近的几个目标进行权值分配，依照距离远近依次为1,0.9,0.8,……0，记为w₁；

G2、计算前后两帧中的各个bounding box的交并比，按照交并比的值进行权值分配，依照覆盖比例依次为1,0.9,0.8,……0，记为w₂；

G3、将w₁与w₂进行相加，值最大的为最可能的目标，进行记录；

G4、当连续三帧或者四帧中有三帧图像都检测到同一车辆，则生车辆的轨迹，并编号，记录ID；连续两帧或三帧找不到检测车辆时，则将记录保留，如果超过五帧找不到检测车辆，则确定车辆已从视野中消失，删除车辆的轨迹信息；

H、毫米波雷达与摄像机的数据处理中心分别将轨迹发送到数据融合中心，并由融合中心通过对毫米波雷达与摄像机输出数据的距离和坐标关系进行数据融合，基于毫米波雷达和摄像机的轨迹执行轨迹相关；具体包括以下步骤：

H1、对毫米波雷达与摄像机获得的距离与坐标关系进行比对，当二者结果一致或者二者的差异不显著，即距离差不超过阈值Q₁且像素差不超过24x24时，则进行融合，重新记录编号，其中XOZ面上的差异用距离差来衡量，XOY面上的差异以像素差来衡量；

H2、当二者差异显著时，按照纵向距离来进行分级；

步骤H2具体包括以下步骤：

H21、毫米波测得的与车辆的纵向距离小于d₁时，轨迹主要以摄像机获得轨迹为基础，以毫米波雷达获得的轨迹作为摄像机轨迹的检测，比较二者的跟踪轨迹点迹图，二者形状相似，则认为相同，若有不一致，则保持独立跟踪，如果超过m帧的数据显示不能融合，则认定为两个目标，按照新出现目标进行处理；

H22、毫米波测得的与车辆的纵向距离为d₁--d₂，二者的纵向距离差不超过阈值Q₂，在图像的上的坐标差的距离不超过48x48像素点，则取中值进行融合，纵向距离超过Q₂则直接将该轨迹删除；

H23、毫米波测得的与车辆的纵向距离为d₂--d₃，轨迹以毫米波雷达形成的轨迹为准，以摄像机获得的轨迹作为毫米波雷达的轨迹检测，比较二者的跟踪轨迹点迹图，二者形状相似，则认为轨迹准确若有不一致，则保持独立跟踪，如果超过m帧的数据显示不能融合，则认定为两个目标，按照新出现目标进行处理；

I、重复进行以上步骤，并进行轨迹更新，得出跟踪结果。