[发明专利]一种基于运动历史图像的视频目标检测方法

权利要求书

1.一种基于运动历史图像的视频目标检测方法，其特征在于，包括以下步骤：

步骤(1)本发明使用了大规模视频目标检测的基准数据集ImageNet VID作为实验用的数据集，该数据集中包含了30个类别，且训练集和验证集已经被全部标注并完成了所有的视频片段的切帧操作；

步骤(2)输入视频帧序列，记为I_i{i＝1，2，3，...，p}(56＜p＜458)；采用计算机视觉库Opencv中的读图片的方法读取输入的视频帧I_i，得到视频帧的矩阵表示im_data_i；

步骤(3)选取残差网络(Resnet101)的前91个卷积层作为特征提取网络feat1_net，将步骤(2)中得到的视频帧的矩阵表示im_data_i，输入到特征提取网络feat1_net中，得到该视频帧的特征图im_feat_i；

步骤(4)提取每一帧视频的运动历史图像MHI_i{i＝1，2，3，...，p}(56＜p＜458)，

其中，t表示当前运动的时刻，(x，y)代表图像中的一个像素点，τ为视频的持续时间，σ为衰退算子，δ为设定的阈值，用来判断两个视频帧目标之间是否发生了运动，根据运动的幅度更新运动历史图像。为相邻视频帧之间的差值，

步骤(5)采用残差网络(Resnet18)的中的前13层卷积网络作为特征提取网络feat2_net，对运动历史图像MHI_i进行特征提取操作；首先采用计算机视觉库Opencv中的读图片的方法读取运动历史图像MHI_i，得到运动历史图像的矩阵表示MHI_data_i；将MHI_data_i输入到feat2_net中，得到运动历史图像的特征图MHI_feat_i；

步骤(6)将视频帧的特征图im_feat_i和运动历史图像的特征图MHI_feat_i进行融合，得到特征图base_feat；

步骤(7)在base_feat上滑动一个以f×f为卷积核的卷积网络，输出一个长度为n维的全连接特征，将得到的特征分别送入到两个全连接层，分别生成k个候选框的坐标和候选框中包含目标的概率；采用非极大值抑制的方法，对候选框进行筛选，得到前m个候选框；

步骤(8)将步骤(6)中得到的base_feat和步骤(7)中的到的m个候选框输入到ROI池化层进行池化操作，得到m个相同大小的特征图；将得到的特征图输入到Resnet101的92到101层网络中，网络的前9层为卷积网络，最后一层为全连接层，实现目标分类以及目标边界框的坐标预测。

2.根据权利要求1所述的一种基于运动历史图像的视频目标检测方法，其特征在于：所述步骤(2)和步骤(5)中，采用的计算机视觉库opencv中cv2.read()的方法读取图片，具体实现分别为im_data＝cv2.read(I_i)和MHI_data_i＝cv2.read(MHI_i)。

3.根据权利要求1所述的一种基于运动历史图像的视频目标检测方法，其特征在于：所述步骤(4)中，设置δ＝32，得到的运动历史图像包含了较多运动目标的信息。将运动历史图像应用于视频目标检测的过程中，对每一个视频帧的运动历史图像进行提取，既保留了视频帧与帧之间的时序信息，同时也保留了目标的运动信息。

4.根据权利要求1所述的一种基于运动历史图像的视频目标检测方法，其特征在于：所述步骤(6)中采用的特征融合的方法为深度学习pytorch框架中自带的concat方法，base_feat＝torch.cat([im_feat，MHI_feat]，1)，公式中的“1”代表视频帧的特征图和运动历史图像的特征图在第二个维度上进行拼接。

5.根据权利要求1所述的一种基于运动历史图像的视频目标检测方法，其特征在于：所述步骤(7)中，设置f＝3，n＝256，m＝1200，即卷积网络的卷积核为3×3，输出的全连接特征长度为256维。非极大值抑制方法的实现是根据候选框中含有目标的概率对候选框排序，选取前1200个候选框作为后续网络输入。