[发明专利]基于改进的伪三维残差神经网络的异常行为检测方法

说明书

本发明公开了一种基于改进的伪三维残差神经网络的异常行为检测方法，包括以下步骤：首先，将训练集中的每个视频分割为多个视频片段；其次，将一个视频的所有视频片段分别输入改进的伪三维残差神经网络后得到它们的特征；然后，取每个片段里所有帧的特征向量的平均值，并紧接着对特征均值进行L2范数归一化，从而得到该视频片段的特征向量；最后，将视频片段的特征向量输入到一个3层的全连接神经网络，就会输出视频片段的异常得分。实验结果表明，与目前方法相比，本文所提方法进一步提高了异常行为检测的准确率，更贴合实际应用。

技术领域

本发明涉及一种监控视频场景下的异常行为检测方法，尤其涉及一种基于多示例学习与改进的伪三维残差神经网络的异常行为检测方法，属于视频分析技术领域。

背景技术

传统的视频监控主要还是依靠人为地去监测场景中的异常行为，不仅需要极高的人力成本，而且容易产生视觉疲劳，甚至会导致一些异常行为未被及时地观察到；异常行为检测与分析旨在通过视频信号处理以及机器学习等算法自动地检测出监控场景中的异常行为，从而帮助人们及时地采取相应措施；因此，监控场景的异常行为检测具有十分重要的研究意义。

异常行为检测早期的研究工作利用低层的轨迹特征来描述正常模式，然而由于难以获得可靠的轨迹，这些方法在有多处遮挡的复杂或拥挤的场景中鲁棒性并不好；考虑到轨迹特征和低层的时空特征的不足，方向梯度直方图(HOG)、光流直方图(HOF)和边界直方图(MBH)被广泛使用，在此基础上，马尔科夫随机场模型(MRF)、社会力模型(SFM)、多尺度光流直方图(MHOF)、混合动态纹理(MDT)被相继提出；这些方法根据正常行为的训练数据对正常行为建模，将低概率模式检测为异常，然而，这些人工设计的特征很难有效地反映行为特性，并且计算复杂。

随着稀疏表示和字典学习方法在一些计算机视觉问题上的成功，研究者们开始使用稀疏表示来学习正常行为的字典，在测试过程中，具有较大重构误差的模式被认为是异常行为；最近，有研究者利用基于深度学习的自编码器学习正常行为模型，利用重构损失检测异常；方法都基于这样一个假设，即任何偏离学习到的正常行为模式的行为都将被视为异常；然而，这个假设可能不成立，因为正常行为和异常行为都具有着复杂多样性，并且它们之间的界限有时是模糊的。

仅从正常行为的训练数据中学习正常行为字典，并基于重构误差检测异常行为是不合适的，将正常行为和异常行为视频数据都利用起来是合理的，并且应该在尽可能少的标记信息下进行。

发明内容

本发明所要解决的技术问题在于克服现有监控视频场景下的异常行为检测方法的不足，提供了一种基于改进的伪三维残差神经网络(Pseudo-3D Residual NeuralNetwork，简称P3D-ResNet)的异常行为检测方法，对P3D-ResNet进行改进，并用其来学习视频的特征。

本发明所述的基于改进的伪三维残差神经网络的异常行为检测方法，包括以下步骤：

步骤一，基于多示例学习方法，采用仅有粗粒度标记(即视频级别标签的)训练集，对训练集中的每个视频进行数据预处理，将每个视频分割为多个视频片段；

步骤二，对P3D-ResNet网络结构进行改进，将一个视频的所有视频片段分别输入改进的P3D-ResNet，获取每个视频片段里每个视频帧的特征向量；

步骤三，计算每个视频片段里所有帧的特征向量的平均值,并紧接着对特征均值进行L2范数归一化，从而获得该视频片段的特征向量；

步骤四，将步骤三所获得的视频片段的特征向量输入一个3层的全连接神经网络(fully connected neural network，简称FC神经网络)，就会输出视频片段的异常得分(即属于异常的概率)；