[发明专利]一种多传感器融合的目标检测系统及检测方法

权利要求书

1.一种多传感器融合的目标检测系统，其特征在于，包括第一AGX模块、第二AGX模块、第三AGX模块、LTE-5G模块、WiFi模块、交换机模块、CAN收发器模块、显示模块、图像采集模块、激光雷达、毫米波雷达和电源管理模块，第一AGX模块作为主机、第二AGX模块和第三AGX模块作为从机，其中激光雷达通过交换机模块与第二AGX模块连接，毫米波雷达和图像采集模块分别通过CAN收发器模块和交换机模块与第三AGX模块连接，第二AGX模块和第三AGX模块还通过交换机模块与第一AGX模块连接，LTE-5G模块和WiFi模块分别与第一AGX模块连接，第一AGX模块还与显示模块连接，电源管理模块为第一AGX模块、第二AGX模块、第三AGX模块、LTE-5G模块、WiFi模块、交换机模块、CAN收发器模块、显示模块、图像采集模块、激光雷达、毫米波雷达供电。

2.根据权利要求1所述的一种多传感器融合的目标检测系统，其特征在于，所述的第一AGX模块、第二AGX模块和第三AGX模块，是基于NVIDIA jetson_AGX_Xavier的数据处理模块。

3.根据权利要求1所述的一种多传感器融合的目标检测系统，其特征在于，所述的图像采集模块为摄像机或照相机。

4.一种多传感器融合的目标检测方法，其特征在于，包括如下步骤：

1）毫米波与视觉数据融合，具体步骤如下：

1-1）对毫米波雷达和图像采集模块进行标定，计算出外部参数，使雷达坐标系中的目标点能映射到像素坐标系中，使图像采集模块的图片能显示毫米波检测到物体的位置；

1-2）图像采集模块和毫米波雷达将采集到的数据输入第三AGX模块，将毫米波数据和图片数据进行时间同步，选取每一张图片的时间戳作为采样点，选取与时间戳最接近的毫米波数据与其匹配；

1-3）对毫米波数据中的横向速度、纵向速度、RCS进行归一化处理后，转换到0~255的范围内，生成毫米波图像；

1-4）采用步骤1-3）的方法同时处理包含毫米波数据和图像数据的数据集，生成训练集；

1-5）建立基于yolov4-tiny改进的毫米波与图像融合检测模型，包括毫米波特征提取网络和图像与毫米波融合的检测网络，具体如下：

所述的毫米波特征提取网络，包括依次连接的第一卷积层、第二卷积层、第一最大池化层、第三卷积层、第二最大池化层、第四卷积层、第三最大池化层、第五卷积层、第四最大池化层、第六卷积层、第五最大池化层和第七卷积层，将步骤1-3）生成的毫米波图像从第一卷积层输入毫米波特征提取网络中，最后第六卷积层输出第一特征图像，第七卷积层输出第二特征图像；

所述的图像与毫米波融合的检测网络，包括Yolov4-tiny骨干网络、第一空间注意力模块、第二空间注意力模块、第八卷积层、第九卷积层、第十卷积层、第十一卷积层、第一上采样层、第十二卷积层、第十三卷积层、第十四卷积层、第十五卷积层、小目标检测层和大目标检测层；图像采集模块采集到的图像经过Yolov4-tiny骨干网络后得到第三特征图像和第四特征图像，毫米波特征提取网络输出的第二特征图的一个分支先与第四特征图像进行concat操作进行特征图拼接，第二特征图的另一个分支经过第一空间注意力模块增强特定区域特征权值后与concat操作后的特征图进行相乘操作后进入第八卷积层，依次经过第八卷积层、第九卷积层、第十卷积层后，第十卷积层的一个分支生成第五特征图像，第十卷积层的另一分支再依次经过第十一卷积层和第一上采样后与第三特征图像进行concat操作后与经过第二空间注意力模块的第一特征图相乘，再依次经过第十二卷积层、第十三卷积层、第十四卷积层；第十四卷积层的一个分支输出与第五特征图像进行concat操作后输入第十五卷积层，再经过大目标检测层；第十四卷积层的一个分支输出送入小目标检测层，小目标检测层和大目标检测层分别输出预测值，预测值通过非极大值抑制NMS筛选出Boxes，生成最终预测结果，预测结果包括预测框边框信息、置信度、类别信息；

1-6）将步骤1-4）获得的训练集经过亮度随机变化、颜色变换、尺寸变换数据增强操作后，输入基于yolov4-tiny改进的毫米波与图像融合检测模型中对模型进行训练，再将实时采集到的图像数据和毫米波数据输入训练后的模型中，得到预测框边框信息、置信度、类别信息，并将检测结果传输至第一AGX模块中；

2）激光雷达障碍物检测，具体步骤如下：

2-1）激光雷达将采集到的信息传输至第二AGX模块，第二AGX模块接收激光雷达传输的信息，并对信息进行欧几里得聚类处理，得到将目标的三维检测框在点云坐标系的坐标及其对应的距离；

2-2）将三维检测框在点云坐标系的坐标通过外部标定的方法，转换到相机的像素坐标系中，得到目标的检测框信息及距离，再将目标的检测框信息及距离传输至第一AGX模块中；

3）第一AGX模块根据步骤1-6）得到的结果和步骤2-2）的结果进行交并比IOU计算，若激光雷达检测框和相机毫米波融合输出的检测框的交并比IOU大于一定的阈值，则表示检测到的是同一个物体，输出检测到的目标的距离、类别和方位；

4）步骤3得到的输出结果再显示模块中显示或者通过LTE-5G模块、WiFi模块传输至上位机。

5.根据权利要求4所述的一种多传感器融合的目标检测方法，其特征在于，步骤1-3）中，所述的毫米波图像，是首先生成一张与对应相机图片尺寸相同的像素值全0的图像，以每个毫米波点为圆心O_i，设置一个点R_i距离在毫米波坐标系中距离圆心1m，通过步骤1-1）的标定方法把R_i转换到像素坐标系，计算转换到的像素坐标系的点与圆心相距的像素距离，并以该距离为半径画圆，在这个范围的像素值用上面转换后的横向速度、纵向速度、RCS填充，最后即得到毫米波图像。