[发明专利]基于多层特征融合的视频目标检测方法

权利要求书

1.一种基于多层特征融合的视频目标检测方法，其特征在于，包括有如下步骤：

(1)提取当前帧及其前帧和后帧图像的卷积特征：输入某个视频中的一帧图像X_t，其包含C个类别中的某一类目标，同时在该视频中，对于当前帧X_t在之前的X_t-9～X_t-1帧中任意选取一帧作为其前帧，在之后的X_t+1～X_t+9帧中任意选择一帧作为其后帧，分别将当前帧、前帧和后帧输入到改进卷积神经网络中，提取得到当前帧及其前帧和后帧图像的卷积特征F_t，F_t-，F_t+，作为融合网络的输入；所述的改进卷积神经网络具体是在卷积网络的浅、中、深三个位置分别添加注意机制模块；

所述的融合网络把前帧和后帧的特征图信息融合到当前帧的特征图，其过程包括：

(a)先将当前帧、前帧和后帧的特征图按第一维连接，输入到采样网络获取对前帧和后帧特征图的采样图H_t-，H_t+，作为计算采样系数时的输入；

(b)再将前帧和后帧的采样图H_t-，H_t+输入到L2正则化层中对前帧和后帧采样图进行平滑操作；

(c)最后将平滑后的前帧和后帧采样图输入到softmax归一化层，得到前帧和后帧特征图的采样系数λ_t-，λ_t+，通过融合公式把前帧和后帧的特征图与当前帧的特征图进行融合，得到当前帧的融合特征图，作为检测网络的输入；

所述的将当前帧、前帧和后帧图像输入到改进卷积神经网络中提取特征图F_t，F_t-，F_t+，具体包括如下步骤：

(1a)将图像输入到改进卷积神经网络，在网络的三分之一深度位置的卷积层后添加浅层注意模块，对该卷积层提取的浅层特征图进行优化后，作为下一个卷积层的输入；

(1b)在网络的三分之二深度位置的卷积层后添加中层注意模块，对该卷积层提取的中层特征图进行优化后，作为下一个卷积层的输入；

(1c)在网络的最后一个卷积层后添加深层注意模块，对最后一个卷积层提取的深层特征图进行优化后，作为采样网络的输入；

(2)对前帧和后帧的特征图计算采样图：将当前帧及其前帧和后帧图像的卷积特征图F_t，F_t-，F_t+输入到采样网络，根据当前帧、前帧和后帧的特征图关系，获取对前帧和后帧特征图的采样图H_t-，H_t+；

(3)根据采样图计算对前帧和后帧特征图的采样系数：将前帧和后帧采样图H_t-，H_t+输入到采样网络中的L2正则化层和softmax归一化层中，获取对前帧和后帧特征图的采样系数λ_t-，λ_t+；

(4)融合特征：将前后帧特征图的采样系数λ_t-，λ_t+分别作为前帧和后帧特征图的权重系数，通过融合公式对当前帧、前帧和后帧的特征图进行求和，得到融合后当前帧的融合特征图F_t’；

(5)提取候选区域：将当前帧X_t的融合特征图F_t’输入到候选区域RPN网络中提取候选区域，并利用非极大值抑制的方法对候选区域进行初步筛选，得到检测目标的候选区域集I；

(6)目标分类和坐标回归：将候选区域集I中的每一个候选区域分别输入到分类和回归网络中计算目标的类别和位置坐标，得到检测目标的类别和位置坐标；

(7)重复步骤(1)～(6)，训练整个数据集，得到能识别C个类别的视频目标检测模型，通过添加新的类别的数据集，进一步训练检测模型得到能识别新类别的模型，即对C个类别以外的目标类别进行扩充。

2.根据权利要求1所述的基于多层特征融合的视频目标检测方法，其特征在于，步骤(4)中所述的融合公式为：

F_t’＝F_t+λ_t-*F_t-+λ_t+*F_t+

其中，F_t’是当前帧的融合特征图，F_t，F_t-，F_t+分别是当前帧、前帧和后帧的特征图，λ_t-是前帧特征图的采样系数，取值范围是0～1，λ_t+后帧特征图的采样系数，取值范围是0～1。