[发明专利]一种基于四类多模态数据融合的目标多维度检测方法

说明书

本发明公开了一种基于四类多模态数据融合的目标多维度检测方法，包括：采集待检测目标的雷达点云图像、红外图像、磁场图像以及RGB图像，搭建卷积神经网络对四种输入图像进行特征提取，将预定义三维锚框投影到四种特征图上，搭建引入注意力模块的RPN网络生成建议框，将建议框投影到四种特征图上，搭建全连接网络实现边界框回归、方向估计和类别分类。本发明针对采用通常的RGB图像目标检测方法的缺陷，利用雷达、红外以及磁场图像可以弥补信息的缺失，提高对目标的检测精度。

技术领域

本发明涉及深度学习、图像识别、三维目标检测技术领域，特别涉及了一种基于四类多模态数据融合的目标多维度检测方法。

背景技术

在机器人、自动装载和自动驾驶等许多实际应用中，物体的三维位置信息越来越受到重视，三维目标检测是建立机器与环境交互机制的关键技术。

目前基于雷达点云的三维目标检测方法主要包括两种，一种是对点云进行体素化，如VoxelNet；另一种是将点云投射到二维平面，如PIXOR。以图像为辅助融合处理雷达点云的方法主要包括：使用点云的俯视图和前视图与图像融合的MV3D，使用点云的俯视图与图像融合的AVOD等。检测小目标和遮挡目标仍然是当前最具有挑战性的，并且对于物体内部目标的检测目前研究较少，融合其他数据源信息的三维目标检测也较少。

发明内容

本发明所要解决的技术问题是为了解决上述背景技术提出的技术问题，本发明旨在提供一种基于四类多模态数据融合的目标多维度检测方法，融合多种数据源的图像信息，将注意力网络集成到多模态三维物体检测器中，解决物体遮挡、物体内部目标检测困难的问题。

为了实现上述技术目的，本发明提出一种基于四类多模态数据融合的目标多维度检测方法，包括：

步骤1、采集待检测目标的雷达、红外、磁场以及彩色图像，将其划分为训练集、验证集和测试集，并且进行三维锚框标注，生成数据集；

步骤2、搭建四个结构独立的卷积神经网络作为主干网络，用于提取四种输入图像的特征图，同时采用GAU模块增强特征的信息；

步骤3、在训练集上通过聚类预先设置三维锚框，投影到四种特征图上，裁剪并池化到相同大小进行融合，搭建RPN网络生成建议框，同时引入注意力模块；

步骤4、将RPN网络生成的建议框投影到四种特征图上，裁剪并池化到相同大小进行融合，搭建全连接网络，生成最终的预测框，同时引入注意力模块。

进一步，本发明提出的多维度检测方法，步骤1包括：

步骤1.1、将雷达、红外传感器、磁传感器以及摄像头集成到一起，确保四种图像对齐，采集较多的四种类型的目标图像，去除其中不清晰的图像，其中雷达点云数据转换成BEV鸟瞰图；

步骤1.2、将获得的数据集按一定比例划分为训练集、验证集和测试集，对训练集和验证集进行三维锚框标注，测试集用于评估目标检测网络训练的效果。

进一步，本发明提出的多维度检测方法，步骤2中，是通过四个结构独立的卷积神经网络分别对四种输入图像进行特征提取，主干网络采用VGG16结构，在conv-4处截断，每个卷积层滤波器数量变为原来的一半，最终提取四个256通道的特征图，同时采用GAU模块增强特征图的信息。

进一步，本发明所提出的多维度检测方法，步骤3包括：

步骤3.1、在训练集上采用聚类算法为每个类别生成大量的预定义锚框，并将其投影到主干网络的四种输出特征图上，裁剪对应的部分并且通过池化操作调整为相同宽高的特征图；

步骤3.2、对于每个锚框，通过元素平均操作将四种特征图进行融合，然后将其输入全连接网络，最终输出锚框的回归参数以及为前景的分数；