[发明专利]基于复杂背景下的移动目标检测方法和系统

权利要求书

1.基于复杂背景下的移动目标检测方法，其特征在于：包括以下步骤：

步骤S1，粗检阶段：将连续5帧视频图像依次输入由ConvLSTM网络和YOLO4网络组成的粗检模型中，其中ConvLSTM网络捕获运动信息，YOLO4网络利用含有运动信息的特征图定位目标在每一帧中的空间维度位置；

所述ConvLSTM网络嵌入到YOLO4网络的主干网络CSPDark53的第二层与第三层之间；

所述粗检阶段具体包括以下步骤：

步骤S1-1：将连续5帧视频图像进行预处理后得到粗检模型的输入，将其输入依次输入主干网络CSPDark53的第一层和第二层，得到，有，其中i=1,2,3,4,5，表示主干网络CSPDark53的前两层；

步骤S1-2：将依次输入到ConvLSTM网络中，得到包含运动信息的特征矩阵，有，其中i=1,2,3,4,5，；

步骤S1-3：将特征矩阵输入YOLO4网络的后续结构中，输出得到目标的类别和空间维度位置的预测矩阵{R}，有；

步骤S1-4：将预测矩阵{R}输入YOLO4的后处理中，得到连续5帧视频图像中每帧的目标类别和空间维度位置：

有：；

步骤S2，细检阶段：利用目标跟踪法跟踪粗检阶段得到的目标在连续5帧图像上的空间维度位置，获取5个空间维度位置的最小外切矩形并裁剪得到5张图像，将5张图像融合构成一个15通道的图像后输入细检模型中，经过细检得到最终检测结果。

2.根据权利要求1所述的基于复杂背景下的移动目标检测方法，其特征在于：所述粗检模型中的ConvLSTM网络，其融合历史状态和当前输入状态的方式为先将历史状态和当前输入状态进行连接操作，再进行卷积：

式中，为t时刻的细胞状态，为t-1时刻的细胞状态，细胞状态中存储了与运动信息相关的信息；为t时刻输入层状态，表示某一帧视频图像经过卷积后的状态；表示t时刻输入门控制信号，表示t时刻遗忘门控制信号；为融合输入信息和上一时刻细胞状态信息的卷积权重，卷积权重是可学习的。

3.根据权利要求2所述的基于复杂背景下的移动目标检测方法，其特征在于：将YOLO4网络的每个输出尺寸扩大一倍。

4.根据权利要求1所述的基于复杂背景下的移动目标检测方法，其特征在于：所述细检阶段具体包括以下步骤：

步骤S2-1：利用目标跟踪法跟踪粗检阶段得到的目标，获取同一目标在连续5帧图像上的空间维度位置信息；

；

步骤S2-2：根据同一目标在5帧图像上的空间维度位置，获取5个空间维度位置的最小外切矩形，有；

步骤S2-3：使用该最小外切矩形分别裁剪对应的连续5帧图像{f₁,f₂,f₃,f₄,f₅}，得到包含该目标运动区域的5张截图，有，其中i=1,2,3,4,5；

如果最小外切矩形中还有其他目标，则使用黑色矩形框将其覆盖，得到覆盖其他目标后的5张截图；如果最小外切矩形中没有其他目标，则，有，其中i=1,2,3,4,5；

步骤S2-4：将处理后的5张截图融合在一起，构成一个W*H*15的矩阵，其中W为裁剪图像的宽，H为裁剪图像的高，15表示由5张3通道图像组成而成的15通道，有；

步骤S2-5：对矩阵进行resize和归一化的预处理，得到矩阵，有；

步骤S2-6：将输入细检模型中，经过细检得到检测结果。

5.根据权利要求4所述的基于复杂背景下的移动目标检测方法，其特征在于：所述步骤S2-6具体包括以下步骤：

步骤S2-6-1：将输入由MobilenetV2网络和YOLO检测头组成的细检模型中，输出得到预测第3帧目标的类别和空间维度位置的矩阵；

步骤S2-6-2：将矩阵输入细检模型的后处理中，得到第3帧目标的类别和空间维度位置，有；

步骤S2-6-3：将细检阶段得到的结果通过映射矩阵{W}，映射到原始视频图像帧中，得到最终检测结果，有。