[发明专利]一种基于深度学习的多级时空运动目标检测方法

说明书

本发明提出一种基于深度学习的多尺度时空运动目标检测方法，其步骤包括：1获取具有像素级标签的视频数据集；2建立多尺度时空网络模型；3离线训练建立的多尺度时空网络模型；4利用建立好的模型实现预测，以达到目标检测的目的。本发明克服了现有监督算法缺少空间和时间特征多尺度信息的缺陷，可精准检测不同尺寸、不同运动速率的运动目标。

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种基于多级时空特征的运动目标检测方法。

背景技术

运动目标检测是计算机视觉领域的一个重要课题，在自动驾驶、目标跟踪、人群分析、交通流、自动异常检测等视频监控领域中有着重要的作用。运动目标检测是像素级别的二分类问题，其目的是从冗余的视频序列中提取出显著的前景目标。运动目标检测算法主要分为两大类：传统算法和基于深度学习的算法。

传统算法的运动目标检测法一般利用图像的传统手工视觉特征，例如颜色、纹理等，为每一个像素建模背景模型，通过对比输入图片与背景模型来分类出前景像素，并完成背景模型的更新与维护。由于颜色、纹理、梯度等低级视觉特征对视频图片的质量要求较高，传统算法只能处理简单的视频场景，而对于动态背景、阴影等复杂场景的检测效果并不好。另外，传统算法有大量需要人工调优的超参数，针对不同场景都有不同的最优超参数。

近年来，深度学习引起了计算机视觉界的广泛关注，人们已经将其应用于各种视觉任务，并取得了显著的效果。目前，基于深度学习的运动目标检测方法大多数只采用二维卷积网络提取单帧图片的空间特征，忽略了视频序列的时间依赖关系，仅基于空间特征的方法处理场景黑暗、颜色信息丢失等场景的性能较差。另外，目前基于深度学习的没有使用多尺度方法或仅在空间尺度上采用多尺度方法，缺少空间多尺度信息导致前景分割结果缺少细节信息，缺少时间多尺度信息导致该方法法不能准确地分割出视频中以不同速率运动的前景目标。

发明内容

本发明为克服现有技术的不足之处，提出一种基于深度学习的多级时空运动目标检测方法，以期能实现视频中前景目标的自动检测，从而提高检测效率和准确性。

本发明为达到上述发明目的，采用如下技术方案：

本发明一种基于深度学习的多级时空运动目标检测方法的特点是按如下步骤进行：

步骤1、获取带有像素级标签的视频数据集并进行分割，得到N个T帧的短视频序列并进行归一化处理，得到归一化的训练样本集记为S＝{S₁,S₂,...,S_n,...,S_N}；S_n表示第n个归一化后的短视频序列，且表示第n个归一化后的短视频序列S_n中第t帧图像；n＝1,2,...,N；t＝1,2,...,T；

步骤2、建立多尺度时空网络模型，所述多尺度时空网络模型由多尺度空间特征提取模块、多尺度时间提取模块和多尺度特征融合模块组成；

步骤2.1、权值初始化：

令多尺度时空网络模型中的所有卷积层均使用Xavier方法进行初始化权值；

令三个卷积长短期记忆网络层ConvLSTM使用高斯分布进行初始化权值；

令上采样层通过反卷积实现，反卷核使用双线性插值初始化；

步骤2.2、令所述多尺度空间特征提取模块由VGG16模型的前13层构成的全卷积神经网络，依次包括：第一卷积层1、第一卷积层2、第一池化层、第二卷积层1、第二卷积层2、第二池化层、第三卷积层1、第三卷积层2、第三卷积层3、第三池化层、第四卷积层1、第四卷积层2、第四卷积层3；