[发明专利]基于多模态特征提取网络的目标检测方法、系统及设备

说明书

本发明公开了一种基于多模态特征提取网络的目标检测方法、系统及设备，首先获取待检测场景内的多模态数据，包括时间戳相关的图像和其他模态文本数据；接着提取其他模态文本数据得到文本语义特征；根据文本语义特征，确定可能存在待检测目标范围；将待检测目标范围在相同时间戳的图像上生成预选框；将生成的预选框输入多模态特征提取网络中，进行特征提取，舍弃偏离预选框的锚框；最后对生成锚框的目标根据分类准确进行分类，确定目标类别，获得检测结果。本发明可以达到保护安全和节省人力的情况下更好的辅助多模态特征提取网络找到目标，在确定范围内检测目标可以提升检测精度，而生成更少的锚框也可以提升检测速度。

技术领域

本发明属于计算机视觉中的目标检测技术领域，涉及一种目标检测方法、系统及设备，具体涉及一种基于多模态特征提取网络的目标检测方法、系统及设备。可以应用到隧道安全救援等特定情境中。

背景技术

目标检测是计算机视觉中一个具有挑战的领域，其成果已广泛应用到很多领域。

目前目标检测算法采用的基本是YOLO，YOLO系列是单阶目标检测算法的代表之一，单阶目标类型的目标检测算法省略了对候选框的生成，而是根据每个单元格生成许多形状和大小不同的锚框，根据各个锚框的置信度最终确定最适合目标的锚框。但这个过程本身会生成许多额外的锚框，这会降低检测速度并且导致正负样本不均衡。

同时，在一些特定情境下，例如隧道封闭时实施救援，同类事故发生较少，能够获取的数据量也较少，这时能够获得的正负样本差距较大，这会导致检测精度下降，不能达到很好效果。

发明内容

在一些特定情境下，例如隧道封闭时实施救援，同类事故发生较少，能够获取的数据量也较少，不能够保证目标检测算法能够达到可靠的检测精度，此外检测速度进一步提升可以更快的实施精准救援。但这种情况下除了直接拍摄图像外，可以通过一些已有的传感器获取其他模态数据。为了解决这种问题，本发明提出一种基于多模态特征提取网络的目标检测方法、系统及设备。

本发明的方法所采用的技术方案是：一种基于多模态特征提取网络的目标检测方法，包括以下步骤：

步骤1：获取待检测场景内的多模态数据，包括时间戳相关的图像和其他模态文本数据；所述其他模态文本数据包括温度、湿度和二氧化碳浓度；

步骤2：提取其他模态文本数据得到文本语义特征；

步骤3：根据文本语义特征，确定可能存在待检测目标范围；

步骤4：将待检测目标范围在相同时间戳的图像上生成预选框；

步骤5：将生成的预选框输入多模态特征提取网络中，进行特征提取，舍弃偏离预选框的锚框；

所述多模态特征提取网络，包括主干特征提取网络、加强特征提取网络和检测头三部分。

所述主干特征提取网络，包括五个Conv结构和四个C3结构以及一个SPPF结构，第一个卷积特征图输入时为分辨率320*320通道数为32，输出时特征图分辨率为160*160通道数为64，以此类推主干特征提取网络中特征图分辨率依次减小，通道数依次增大；C3结构为三个标准卷积由残差结构并联，目的是融合不同特征；SPPF结构由池化核为5*5的三个最大池化层串联，目的是融合多尺度的特征；

所述加强特征提取网络，包括自顶向下和自底向上的双特征金字塔，共进行了三次上采样和三次下采样，共包括四个Conv结果和四个C3结构；第一个特征金字塔每当特征图分别为20*20、40*40时，从主干特征提取网络特征图大小相同的C3结构中获得输出，两者相加进行采样；第二个特征金字塔与第一个特征金字塔类似，但不从主干特征提取网络中获取输出，而是从第一个特征金字塔中获取相同分辨率的特征图作为相加；