[发明专利]一种毫米波雷达与深度学习视觉融合的前方多车辆跟踪方法

说明书

本发明涉及一种毫米波雷达与深度学习视觉融合的前方多车辆跟踪方法，利用毫米波雷达获得前方数据信息，根据其回波反射强度以及宽度信息，剔除掉无效信息，只保留下前方的车辆信息。根据毫米波雷达与摄像机相融合的方法，通过对雷达信息的滤波以及在线跟踪模型生成运动轨迹并进行轨迹关联。对已经进行了轨迹关联的前方车辆进行记录并编号。对已经生成轨迹并编号的前方车辆，只需要对下一周期的数据进行上述步骤的重复处理，并进行一致性检验，将其添加到已编号的轨迹中去。对于新出现的车辆，按照最开始的步骤进行轨迹生成、轨迹关联与编号。本发明结合了毫米波雷达和视觉深度学习的优势，能有效提高对于前方多车辆目标跟踪的准确度与鲁棒性。

技术领域

本发明属于多目标跟踪技术领域，涉及一种智能驾驶汽车辅助驾驶方法，具体涉及一种信息融合的前方多车辆目标跟踪的方法，特别涉及一种毫米波雷达与深度学习视觉融合的前方多车辆跟踪方法。

背景技术

无人驾驶汽车已成为现今研究的一个热点领域，其中环境感知是实现智能驾驶的一个重要环节。跟踪作为环境感知的重要一环，愈发得到研究人员的重视。利用单一的传感器进行感知跟踪时，总是出现精度不高、稳定性较差以及虚警率较高的问题。因此，对多传感器进行融合，以实现跟踪成为研究热点。毫米波雷达工作稳定性较高，可在各种环境下可靠的工作，并且探测距离较长，但其目标识别能力较差。基于深度学习的多目标跟踪是近年兴起的一种多目标跟踪方法，通过大量的样本训练，其物体识别能力较好，能够准确的识别出前方物体的类别并生成运动轨迹。神经网络层数较多时，虽识别效果好，但运算复杂，速度很慢，且距离较远时，效果较差。如能采用毫米波雷达与较少层神经网络深度学习相融合的方法，来对前方多车辆进行跟踪，这是一种新的尝试，具有广泛的应用价值。

发明内容

本发明的目的就在于针对上述现有技术中单一类型的传感器存在的不足与缺陷，提供了一种毫米波雷达与深度学习视觉融合的前方多车辆跟踪方法。

本发明的目的是通过以下技术方案实现的：

一种毫米波雷达与深度学习视觉融合的前方多车辆跟踪方法，包括以下步骤：

A、建立毫米波雷达坐标系与视觉传感器(摄像机)坐标系之间的坐标转换关系，将二者的坐标系进行统一，使用毫米波雷达和摄像机两者的最低采样频率进行采样，以保持时间上的一致性；

B、对毫米波雷达的数据进行接收，并按照一定的规则进行解算，并进行相应的处理，从而筛选出前方车辆，剔除掉无效目标；

C、对步骤B中接收到的毫米波雷达数据进行滤波，利用卡尔曼滤波对前方车辆进行跟踪，并生成轨迹对其进行编号；当有新的车辆出现时，通过雷达采集到的数据解算确定后，进行跟踪生成新的轨迹并添加编号；

D、对摄像机采集到的图像进行预处理；

E、离线训练深度学习神经网络，对前方车辆进行识别；

F、将步骤D中已经进行了预处理的图像送入到步骤D预训练的深度学习神经网络中去，对前方的车辆目标进行检测和定位，得出前方多车辆在图像中的位置及检测可信度(对可信度低于M％的车辆信号删除)，并将车辆进行编号；

G、利用在线跟踪模型对步骤F中检测到的车辆进行跟踪并生成车辆的运行轨迹并编号；

H、毫米波雷达与摄像机的数据处理中心分别将本地轨道发送到数据融合中心，并由融合中心通过对毫米波雷达与摄像机输出数据的距离和坐标关系进行数据融合，基于毫米波雷达和摄像机的轨道执行轨道相关；

I、重复进行以上步骤，并进行轨道更新，得出跟踪结果。

进一步地，步骤A，所述坐标系进行统一的步骤为：

A1、建立毫米波雷达与世界三维坐标系之间的转换关系，其中，毫米波雷达坐标系为水平平面的二维坐标系；