[发明专利]一种基于四类多模态数据融合的目标多维度检测方法

权利要求书

1.一种基于四类多模态数据融合的目标多维度检测方法，其特征在于，包括以下步骤：

步骤1、采集待检测目标的雷达、红外、磁场以及彩色图像，将其划分为训练集、验证集和测试集，并且进行三维锚框标注，生成数据集；

步骤2、搭建四个结构独立的卷积神经网络作为主干网络，用于提取四种输入图像的特征图；

步骤3、在训练集上通过聚类预先设置三维锚框，投影到四种特征图上，裁剪并池化到相同大小进行融合，搭建RPN网络生成建议框，同时引入注意力模块；

步骤4、将RPN网络生成的建议框投影到四种特征图上，裁剪并池化到相同大小进行融合，搭建全连接网络，生成最终的预测框，同时引入注意力模块。

2.根据权利要求1所述的多维度检测方法，其特征在于，步骤1包括：

步骤1.1、将雷达、红外传感器、磁传感器以及摄像头集成到一起，确保四种图像对齐，采集足够数量的四种类型的目标图像，去除其中不清晰的图像，其中雷达点云数据转换成BEV鸟瞰图；

步骤1.2、将获得的数据集按一定比例划分为训练集、验证集和测试集，对训练集和验证集进行三维锚框标注，测试集用于评估目标检测网络训练的效果。

3.根据权利要求1所述的多维度检测方法，其特征在于，步骤2中，是通过四个结构独立的卷积神经网络分别对四种输入图像进行特征提取，主干网络采用VGG16结构，在conv-4处截断，每个卷积层滤波器数量变为原来的一半，最终提取四个256通道的特征图，同时采用GAU模块增强特征图的信息。

4.根据权利要求1所述的多维度检测方法，其特征在于，步骤3包括：

步骤3.1、在训练集上采用聚类算法为每个类别生成大量的预定义锚框，并将其投影到主干网络的四种输出特征图上，裁剪对应的部分并且通过池化操作调整为相同宽高的特征图；

步骤3.2、对于每个锚框，通过元素平均操作将四种特征图进行融合，然后将其输入全连接网络，最终输出锚框的回归参数以及为前景的分数；

步骤3.3、在RPN网络中引入了注意力模块，使用分类识别定位策略Grad-CAM，获取最后一个卷积层的输出特征图，在进行反向传播时求得特征图的梯度，取平均和最大值的和作为每个特征图的权重，最后加权求和经过LeakyReLU激活函数得到类激活图；再使用反向注意力网络IAN生成生成空间方向的反向注意力图和通道方向的反向注意力图，然后组合生成反向注意力图，最后与卷积层输出特征图相乘。

5.根据权利要求1所述的多维度检测方法，其特征在于，步骤4中，将步骤3生成的建议框投影到四种特征图上，裁剪并池化到相同大小，然后采用元素平均操作进行融合，输入全连接网络，最终输出每个建议框的回归参数、方向估计以及类别分类；同时也引入注意力模块，利用GradCAM和基于梯度的IAN计算反向注意力图，再与融合后的特征图进行元素相乘。