[发明专利]一种毫米波雷达与深度学习视觉融合的前方多车辆跟踪方法

摘要

本发明涉及一种毫米波雷达与深度学习视觉融合的前方多车辆跟踪方法，利用毫米波雷达获得前方数据信息，根据其回波反射强度以及宽度信息，剔除掉无效信息，只保留下前方的车辆信息。根据毫米波雷达与摄像机相融合的方法，通过对雷达信息的滤波以及在线跟踪模型生成运动轨迹并进行轨迹关联。对已经进行了轨迹关联的前方车辆进行记录并编号。对已经生成轨迹并编号的前方车辆，只需要对下一周期的数据进行上述步骤的重复处理，并进行一致性检验，将其添加到已编号的轨迹中去。对于新出现的车辆，按照最开始的步骤进行轨迹生成、轨迹关联与编号。本发明结合了毫米波雷达和视觉深度学习的优势，能有效提高对于前方多车辆目标跟踪的准确度与鲁棒性。

主权项

1.一种毫米波雷达与深度学习视觉融合的前方多车辆跟踪方法，其特征在于，包括以下步骤：A、建立毫米波雷达坐标系与摄像机坐标系之间的坐标转换关系，将二者的坐标系进行统一，使用毫米波雷达和摄像机两者的最低采样频率进行采样，以保持时间上的一致性；B、对毫米波雷达的数据进行接收，按规则进行解算，并进行相应的处理，从而筛选出前方车辆，剔除掉无效目标；C、对步骤B中接收到的毫米波雷达数据进行滤波，利用卡尔曼滤波对前方车辆进行跟踪，并生成轨迹对其进行编号；当有新的车辆出现时，通过雷达采集到的数据解算确定后，进行跟踪生成新的轨迹并添加编号；D、对摄像机采集到的图像进行预处理；E、离线训练深度学习神经网络，对前方车辆进行识别；F、将步骤D中已经进行了预处理的图像送入到步骤D预训练的深度学习神经网络中去，对前方的车辆目标进行检测和定位，得出前方多车辆在图像中的位置及检测可信度(对可信度低于M％的车辆信号删除)，并将车辆进行编号；G、利用在线跟踪模型对步骤F中检测到的车辆进行跟踪并生成车辆的运行轨迹并编号；H、毫米波雷达与摄像机的数据处理中心分别将本地轨道发送到数据融合中心，并由融合中心通过对毫米波雷达与摄像机输出数据的距离和坐标关系进行数据融合，基于毫米波雷达和摄像机的轨道执行轨道相关；I、重复进行以上步骤，并进行轨道更新，得出跟踪结果。