[发明专利]一种多传感器融合的目标检测系统及检测方法

说明书

本发明公开了一种多传感器融合的目标检测系统及检测方法，该系统解决了智能驾驶对本地感知海量多源异构数据和外部协作数据的实时性融合处理要求，现有的硬件系统即使能满足实时性要求，其造价也会更加昂贵。本系统采用了分布式计算平台，在满足性能需求的同时，造价更加经济实惠。该方法通过融合毫米波雷达与视觉信息，解决了因外部光源变换，雾雨天气造成的单摄像头感知的局限性，使其在极端天气下也可以检测到物体。同时通过融合激光雷达信息，能获取到物体的精确距离信息。

技术领域

本发明涉及目标检测技术领域，具体是一种多传感器融合的目标检测系统及检测方法。

背景技术

自动驾驶车辆感知环境是自动驾驶系统自动驾驶车辆感知环境通过传感器来获取信息，目前主流的传感器有激光雷达、毫米波雷达、超声波雷达以及相机等，然而各种传感器都有其各自的优缺点，传感器对环境的适应性不同。自动驾驶感知系统的检测不仅要识别当前物体的类别，还要测量出障碍物与自动驾驶车辆之间的相对距离。

由于传感器自身的缺陷，在雾天、雨天、夜晚等恶劣环境下，单类传感器性能受限，无法准确检测障碍物。由于激光雷达、毫米波雷达都有较好的测距效果，根据传感器标定得到的坐标变换融合车辆检测的信息。而天气影响环境的车辆检测问题，则可以通过多传感器融合进行互补感知环境，提高检测的环境适应能力。

而现有的多传感器融合系统大多占用大量算力，普通的计算平台算力不足，达不到实时性的要求。

发明内容

本发明的目的在于克服现有技术的不足，而提高一种多传感器融合的目标检测系统及检测方法。

实现本发明目的的技术方案是：

一种多传感器融合的目标检测系统，包括第一AGX模块、第二AGX模块、第三AGX模块、LTE-5G模块、WiFi模块、交换机模块、CAN收发器模块、显示模块、图像采集模块、激光雷达、毫米波雷达和电源管理模块，第一AGX模块作为主机、第二AGX模块和第三AGX模块作为从机，其中激光雷达通过交换机模块与第二AGX模块连接，毫米波雷达和图像采集模块分别通过CAN收发器模块和交换机模块与第三AGX模块连接，第二AGX模块和第三AGX模块还通过交换机模块与第一AGX模块连接，LTE-5G模块和WiFi模块分别与第一AGX模块连接，第一AGX模块还与显示模块连接，电源管理模块为第一AGX模块、第二AGX模块、第三AGX模块、LTE-5G模块、WiFi模块、交换机模块、CAN收发器模块、显示模块、图像采集模块、激光雷达、毫米波雷达供电。

所述的第一AGX模块、第二AGX模块和第三AGX模块，是基于NVIDIA jetson_AGX_Xavier的数据处理模块。

所述的图像采集模块为摄像机或照相机。

一种多传感器融合的目标检测方法，包括如下步骤：

1）毫米波与视觉数据融合，具体步骤如下：

1-1）对毫米波雷达和图像采集模块进行标定，计算出外部参数，使雷达坐标系中的目标点能映射到像素坐标系中，使图像采集模块的图片能显示毫米波检测到物体的位置；

1-2）图像采集模块和毫米波雷达将采集到的数据输入第三AGX模块，将毫米波数据和图片数据进行时间同步，选取每一张图片的时间戳作为采样点，选取与时间戳最接近的毫米波数据与其匹配；

1-3）对毫米波数据中的横向速度、纵向速度、RCS进行归一化处理后，转换到0~255的范围内，生成毫米波图像；

1-4）采用步骤1-3）的方法同时处理包含毫米波数据和图像数据的数据集，生成训练集；

1-5）建立基于yolov4-tiny改进的毫米波与图像融合检测模型，包括毫米波特征提取网络和图像与毫米波融合的检测网络，具体如下：