[发明专利]一种基于非配准多模态数据的微小人物检测方法、介质和设备

权利要求书

1.一种基于非配准多模态数据的微小人物检测方法，其特征在于，所述方法包括训练检测模型用以进行微小人物检测的步骤，

所述检测模型按照包括以下步骤的方法获得：

步骤1，建立非配准多模态数据集；

步骤2，对数据集中的图像进行配对采样；

步骤3，获得图像的多模态特征；

步骤4，对多模态特征进行融合；

步骤5，对融合特征进行微调。

2.根据权利要求1所述的基于非配准多模态数据的微小人物检测方法，其特征在于，

步骤2中，在数据集的各个模态中，按照相同的捕获时间进行成对采样，形成图像对。

3.根据权利要求2所述的基于非配准多模态数据的微小人物检测方法，其特征在于，

在采样前，将数据集的图像进行随机混洗，以打乱图像序列。

4.根据权利要求1所述的基于非配准多模态数据的微小人物检测方法，其特征在于，

步骤3包括以下子步骤：

步骤3-1，获得图像的多模态候选特征；

步骤3-2，获得不同模态的实例特征。

5.根据权利要求4所述的基于非配准多模态数据的微小人物检测方法，其特征在于，

步骤3-1中，采用Faster R-CNN和FPN两级检测器进行提取图像的多模态特征。

6.根据权利要求1所述的基于非配准多模态数据的微小人物检测方法，其特征在于，

步骤4包括以下子步骤：

步骤4-1，获得多模态实例特征的集合；

步骤4-2，将多模态实例特征进行隐式配准；

步骤4-3，将隐式配准的实例特征进行融合。

7.根据权利要求1所述的基于非配准多模态数据的微小人物检测方法，其特征在于，所述基于非配准多模态数据的微小人物检测方法，还包括用训练的检测模型进行检测的步骤，

所述检测包括以下子步骤：

步骤I，对待检测目标进行采样；

步骤II，对待检测目标进行检测。

8.根据权利要求7所述的基于非配准多模态数据的微小人物检测方法，其特征在于，

步骤I中，按照下述步骤对待检测目标进行采样：

步骤i，获取待检测目标的多模态图像；

步骤ii，对多模态图像进行成对采样；

优选地，步骤ii中，按照时间和空间一致的原则进行成对采样。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基于非配准多模态数据的微小人物检测程序，所述程序被处理器执行时，使得处理器执行权利要求1至8之一所述基于非配准多模态数据的微小人物检测方法的步骤。

10.一种计算机设备，包括存储器和处理器，其特征在于，所述存储器存储有基于非配准多模态数据的微小人物检测程序，所述程序被处理器执行时，使得处理器执行权利要求1至8之一所述基于非配准多模态数据的微小人物检测方法的步骤。