[发明专利]基于数据驱动的异源多目标智能检测方法及系统

权利要求书

1.基于数据驱动的异源多目标智能检测方法，其特征是，包括以下步骤：

S101：通过异源成像传感器同时获取同一场景下的目标图像，并基于特征图像配准方法对异源成像传感器间获取的目标图像进行配准处理后依据异源成像传感器的类别将目标图像分类成相应类别的图像数据集；

S102：通过数据增强方法对图像数据集中的目标图像进行增强扩充，并采用开源标注软件对目标图像进行边界框标注；

S103：采用YOLOv3模型并结合注意力机制、残差模块建立深度卷积神经网络模型；

S104：将图像数据集按预设比例值随机划分成训练集、验证集和测试集；

S105：采用Adam优化器和训练集对深度卷积神经网络模型进行训练，并利用验证集对深度卷积神经网络模型的超参数进行调试，同时保存训练好的权重参数；

S106：通过训练好的深度卷积神经网络模型依据测试集对目标图像进行测试；

S107：将测试后的目标图像与测试前对应的目标图像的边界框进行重合度计算和目标对象判断，得到检测结果。

2.根据权利要求1所述的基于数据驱动的异源多目标智能检测方法，其特征是，所述异源成像传感器包括偏振相机、可见光光谱相机和近红外相机，图像数据集对应分为偏振图像数据集、光谱图像数据集和红外图像数据集。

3.根据权利要求1所述的基于数据驱动的异源多目标智能检测方法，其特征是，所述增强扩充采用旋转、缩放、平移、对比度调整四种方式中的任意组合方式对图像数据集中的目标图像进行处理，通过保留处理前的目标图像以增加数据量。

4.根据权利要求3所述的基于数据驱动的异源多目标智能检测方法，其特征是，所述增强扩充具体为：

旋转：将目标图像以90°、180°、270°中的至少一个旋转角度进行旋转处理；

缩放：将目标图像以0.3、0.5、0.7中的至少一个缩放比例进行缩放处理；

平移：将目标图像以沿x轴、y轴以及同时沿x轴、y轴方向中的至少一个平移方式进行平移；

对比度调整：将目标图像以1.3、0.7中的至少一个对比度进行调整。

5.根据权利要求1所述的基于数据驱动的异源多目标智能检测方法，其特征是，所述边界框标注采用矩形框进行标注，并将标注信息以xml文件的形式保存。

6.根据权利要求1所述的基于数据驱动的异源多目标智能检测方法，其特征是，所述深度卷积神经网络模型包括以DarkNet53为主干网络的特征提取模块、多尺度特征提取模块、检测模块。

7.根据权利要求1所述的基于数据驱动的异源多目标智能检测方法，其特征是，所述图像数据集以8：1：1的预设比例值随机划分为训练集、验证集和测试集。

8.根据权利要求1所述的基于数据驱动的异源多目标智能检测方法，其特征是，所述重合度计算具体为：将同一目标图像中测试前后所标注的两个边界框的交集面积与并集面积的比值作为重合度计算值。

9.根据权利要求1所述的基于数据驱动的异源多目标智能检测方法，其特征是，所述目标对象判断具体为：根据评价指标F1值判断测试前后所标注的边界框内部图像的目标对象类型是否相同。

10.基于数据驱动的异源多目标智能检测系统，其特征是，包括：

数据采集模块，用于通过异源成像传感器同时获取同一场景下的目标图像，并基于特征图像配准方法对异源成像传感器间获取的目标图像进行配准处理后依据异源成像传感器的类别将目标图像分类成相应类别的图像数据集；

数据处理模块，用于通过数据增强方法对图像数据集中的目标图像进行增强扩充，并采用开源标注软件对目标图像进行边界框标注；

模型构建模块，用于采用YOLOv3模型并结合注意力机制、残差模块建立深度卷积神经网络模型；

数据划分模块，用于将图像数据集按预设比例值随机划分成训练集、验证集和测试集；

训练模块，用于采用Adam优化器和训练集对深度卷积神经网络模型进行训练，并利用验证集对深度卷积神经网络模型的超参数进行调试，同时保存训练好的权重参数；

测试模块，用于通过训练好的深度卷积神经网络模型依据测试集对目标图像进行测试；

检测分析模块，用于将测试后的目标图像与测试前对应的目标图像的边界框进行重合度计算和目标对象判断，得到检测结果。