[发明专利]基于多层特征融合的视频目标检测方法

摘要

本发明公开了一种基于多层特征融合的视频目标检测方法，解决了现有检测方法未利用视频时序信息及检测效果差的问题，技术方案为：输入一帧视频图像作当前帧，在其前9帧中选一前帧图像，在后9帧中选一后帧图像；把三帧图像输入到改进卷积神经网络分别获取三个特征图；输入到采样网络，获得对前后帧特征图的采样图，依采样图计算前后帧特征图的采样系数；根据融合公式利用采样系数得到当前帧增强后的特征图，作为检测网络的输入，生成候选区域集，经分类和回归网络检测出最终的目标类别和位置。本发明使用了视频时序信息，模型复杂度小，参数量少，检测效果好，可用于交通监控，安保安防，目标识别等。

主权项

1.一种基于多层特征融合的视频目标检测方法，其特征在于，包括有如下步骤：(1)提取当前帧及其前帧和后帧图像的卷积特征：输入某个视频中的一帧图像X_t，其包含C个类别中的某一类目标，同时在该视频中，对于当前帧X_t在之前的X_t‑9～X_t‑1帧中任意选取一帧作为其前帧，在之后的X_t+1～X_t+9帧中任意选择一帧作为其后帧，分别将当前帧、前帧和后帧输入到改进卷积神经网络中，提取得到前帧及其前帧和后帧图像的卷积特征F_t，F_t‑，F_t+，作为融合网络的输入；所述的改进卷积神经网络具体是在卷积网络的浅、中、深三个位置分别添加注意机制模块；(2)对前帧和后帧的特征图计算采样图：将前帧及其前帧和后帧图像的卷积特征图F_t，F_t‑，F_t+输入到采样网络，根据当前帧、前帧和后帧的特征图关系，获取对前帧和后帧特征图的采样图H_t‑，H_t+；(3)根据采样图计算对前帧和后帧特征图的采样系数：将前帧和后帧采样图H_t‑，H_t+输入到采样网络中的L2正则化层和softmax归一化层中，获取对前帧和后帧特征图的采样系数λ_t‑，λ_t+；(4)融合特征：将前后帧特征图的采样系数λ_t‑，λ_t+分别作为前帧和后帧特征图的权重系数，通过融合公式对当前帧、前帧和后帧的特征图进行求和，得到融合后当前帧的融合特征图F_t’；(5)提取候选区域：将当前帧X_t的融合特征图F_t’输入到候选区域RPN网络中提取候选区域，并利用非极大值抑制的方法对候选区域进行初步筛选，得到检测目标的候选区域集I；(6)目标分类和坐标回归：将候选区域集I中的每一个候选区域分别输入到分类和回归网络中计算目标的类别和位置坐标，得到检测目标的类别和位置坐标；(7)重复步骤(1)～(6)，训练整个数据集，得到能识别C个类别的视频目标检测模型，通过添加新的类别的数据集，进一步训练检测模型得到能识别新类别的模型，即对C个类别以外的目标类别进行扩充。