[发明专利]一种基于非配准多模态数据的微小人物检测方法、介质和设备

说明书

本发明公开了一种基于非配准多模态数据的微小人物检测方法、一种计算机可读存储介质和一种计算机设备，所述方法包括训练检测模型用以进行微小人物检测的步骤，检测模型按照包括以下步骤的方法获得：步骤1，建立非配准多模态数据集；步骤2，对数据集中的图像进行配对采样；步骤3，获得图像的多模态特征；步骤4，对多模态特征进行融合；步骤5，对融合特征进行微调。本发明公开的基于非配准多模态数据的微小人物检测方法，消除了基于复杂传感器和大量人力的多模态图像配准的要求，可以直接使用非配准的多模态数据进行人物检测，且检测性能优越。

技术领域

本发明属于计算机视觉技术领域，具体涉及微小人物检测方法，尤其涉及一种基于非配准多模态数据的微小人物检测方法。

背景技术

人/行人检测一直是计算机视觉中的活跃研究方向，它是许多更高层次应用场景的基础，例如：监控、追踪、快速救援和自动驾驶。尽管最近许多研究人员进行了长期研究并取得了前所未有的进展，但人体检测仍然面临着许多挑战，例如复杂多变的光线和微小的外观。

近年来，微小目标检测的研究也越来越受欢迎，尤其是Yu等人(Xuehui Yu，YuqiGong，Nan Jiang，Qixiang Ye，and ZhenjunHan.Scale match for tiny persondetection.In IEEE WACV，2020.1，3，4)介绍了TinyPerson，这是一个微小人物检测(TPD)基准。鉴于个体的信息量有限，这种方法比较适合完成个体特征敏感的任务。然而，现有的TPD检测器主要基于单模态RGB图像，其TPD性能有限。

多模态数据已被证明对人物检测有效，尤其是在复杂和/或变化的光线条件下。但是，多模态方法通常需要配准良好的图像对，后处理中需要精确的手动校准或图像配准算法，此外，即使传感器在初始化期间准确配准，轻微的干扰也可能使数据偏离理想设置。这些额外的因素不可避免地增加了数据收集所涉及的时间和精力。

因此，亟需提供一种高检测性能的微小人物的多模态检测方法，其能够在收集数据时省略配准操作、消除复杂传感器的配准要求和繁重的人力工作。

发明内容

为了克服上述问题，本发明人进行了锐意研究，提出了一种非配准多模态数据集NRMMPerson，其具有非配准的多模态基准，将多模态TPD的任务向现实的环境中推进了一步；同时提出了非配准的多模态特征融合检测器(NRMM-FFD)，它在端到端框架中执行隐式配准、特征融合和人物检测。本发明提出的方法，消除了基于复杂传感器和大量人力的多模态图像配准的要求，可以直接使用非配准的多模态数据进行人物检测，从而完成了本发明。

具体来说，本发明的目的在于提供以下方面：

第一方面，提供了一种基于非配准多模态数据的微小人物检测方法，所述方法包括训练检测模型用以进行微小人物检测的步骤，

所述检测模型按照包括以下步骤的方法获得：

步骤1，建立非配准多模态数据集；

步骤2，对数据集中的图像进行配对采样；

步骤3，获得图像的多模态特征；

步骤4，对多模态特征进行融合；

步骤5，对融合特征进行微调。

其中，步骤2中，在数据集的各个模态中，按照相同的捕获时间进行成对采样，形成图像对。

其中，在采样前，将数据集的图像进行随机混洗，以打乱图像序列。

其中，步骤3包括以下子步骤：

步骤3-1，获得图像的多模态候选特征；

步骤3-2，获得不同模态的实例特征。