[发明专利]一种基于深度学习的多级时空运动目标检测方法

权利要求书

1.一种基于深度学习的多级时空运动目标检测方法，其特征是按如下步骤进行：

步骤1、获取带有像素级标签的视频数据集并进行分割，得到N个T帧的短视频序列并进行归一化处理，得到归一化的训练样本集记为S＝{S₁,S₂,...,S_n,...,S_N}；S_n表示第n个归一化后的短视频序列，且表示第n个归一化后的短视频序列S_n中第t帧图像；n＝1,2,...,N；t＝1,2,...,T；

步骤2、建立多尺度时空网络模型，所述多尺度时空网络模型由多尺度空间特征提取模块、多尺度时间特征 提取模块和多尺度特征融合模块组成；

步骤2.1、权值初始化：

令多尺度时空网络模型中的所有卷积层均使用Xavier方法进行初始化权值；

令三个卷积长短期记忆网络层ConvLSTM使用高斯分布进行初始化权值；

令上采样层通过反卷积实现，反卷核使用双线性插值初始化；

步骤2.2、令所述多尺度空间特征提取模块由VGG16模型的前13层构成的全卷积神经网络，依次包括：第一卷积层1、第一卷积层2、第一池化层、第二卷积层1、第二卷积层2、第二池化层、第三卷积层1、第三卷积层2、第三卷积层3、第三池化层、第四卷积层1、第四卷积层2、第四卷积层3；

将所述归一化的训练样本集S输入所述多尺度空间特征提取模块中，并经过所述第二卷积层2、第三卷积层3、第四卷积层3分别输出第一空间特征序列第二空间特征序列第三空间特征序列其中，F_t¹表示第一空间特征序列F¹中第t帧特征图，F_t²表示第二空间特征序列F²中第t帧特征图，F_t³表示第三空间特征序列F³中第t帧特征图；

步骤2.2、所述多尺度时间特征提取模块通过时间采样操作产生不同时间长度的特征序列，再由卷积长短期记忆层完成多尺度时间建模；

步骤2.2.1、将所述第一空间特征序列F¹、第二空间特征序列F²、第三空间特征序列F³的初始时间长度均设为T；

在时间尺度上，分别以第一采样间隔d₁对第一初始空间特征序列F¹、以第二采样间隔d₂对第二初始空间特征序列F²、以第三采样间隔d₃对第三初始空间特征序列F³进行均匀采样，从而得到三个时间长度的第一时空特征序列SF¹、第二时空特征序列SF²、第三时空特征序列SF³；

步骤2.2.2、采用三个卷积长短期记忆网络层ConvLSTM分别对第一时空特征序列SF¹、第二时空特征序列SF²、第三时空特征序列SF³进行时间建模，并以所述卷积长短期记忆网络层ConvLSTM的最终第T个隐层状态H_T作为特征输出，从而得到第T帧的第一时空信息特征图第T帧的第二时空信息特征图第T帧的第三时空信息特征图

步骤2.3、基于多尺度特征融合模块的特征融合；

步骤2.3.1、将第T帧的第一时空信息特征图经上采样层放大两倍后与第T帧的第二时空信息特征图特征图连接，得到第T帧连接后的两个尺度的时空特征融合图；

步骤2.3.2、将第T帧连接后的两个尺度的时空特征融合图经上采样层放大两倍后与第T帧的第三时空信息特征图连接，得到第T帧连接后的三个尺度的时空特征融合图；

步骤2.3.3、将第T帧连接后的三个尺度的时空特征融合图经上采样层放大两倍后，通过另一层卷积层处理后，得到第T帧的得分特征图并输入给sigmoid层，从而得到第T帧前景概率图P_T；

步骤3、对初始多级时空运动目标检测模型进行离线训练，从而得到最优多级时空运动目标检测模型：

采用式(1)计算第T帧前景概率图P_T与像素级标签G_T之间的焦点损失值Loss，并使用自适应矩估计优化方法以学习率l_rate来更新网络权值，并在损失值Loss趋于稳定时完成离线训练；

式(1)中，K是一帧图像的总像素数，P_T(k)为第T帧前景概率图P_T中第k个像素是前景的概率值，G_T(k)为第T帧前景概率图P_T所对应的像素级标签中第k个像素的真实值，γ是可调焦距参数，a是权重因子；

步骤4、利用所述最优多级时空运动目标检测模型对任一短视频序列进行预测，得到预测的第T帧前景概率图；

将预测的第T帧前景概率图中的每个像素值分别与阈值M进行比较，并将大于阈值M的所有像素值设为前景，其余像素值设为背景，从而完成二值化阈值分割处理，并得到运动目标分割结果。