[发明专利]一种智能视频监控方法

说明书

本发明涉及一种基于视觉显著性和深度自编码的公共场景智能视频监控方法，包括：对视频进行单帧分解，使用视觉显著性提取运动信息，然后计算相邻帧运动物体的光流，之后的检测过程分为训练和测试两个过程，在训练中，以训练样本的光流作为自编码的输入，通过最小化损失函数来训练整个自编码网络，在测试阶段，分别以训练和测试样本的光流作为输入，提取训练好的自编码网络中的编码器，通过降维提取输入的特征，然后可视化降维后的结果，使用超球体表示训练样本的可视化范围，在输入测试样本时，使用同样的方法可视化，若样本可视化的结果落入超球体范围内，则判定样本正常；反之，落在超球体范围之外，判定样本异常，由此实现视频的智能监控。

技术领域

本发明涉及图像处理技术，特别是涉及一种基于视觉显著性和深度自编码的公共场景智能视频监控方法。

背景技术

近几年，监控设备被应用在各行各业，现代机场、车站、医院等公共场景覆盖了成千上万的监控装置，由于视频资料众多，单靠安保人员分析，滤除正常场景下的正常行为，及时发现异常行为，是一个很大的工作量，而随着分析数量的增多，人员的注意力和工作效率会产生明显的下降，为了将人从大量的分析理解中解放出来，研究一种智能视频监控方法具有重要意义。

智能监控系统主要涉及三部分的内容：视频中运动信息的提取，即提取视频中的运动目标，由于监控系统是固定的，所以这部分主要是提取视频中前景目标的运动信息；行为特征的提取，智能监控系统中的一大挑战，要具有唯一性、鲁棒性等特点，提取特征；异常行为检测，分为基于规则的检测，如检测目标是否违反了某些预定义的规则，和基于统计的检测，即在大量的样本中找到行为的模式，使用模式识别的方法和模型进行异常行为识别。现有的技术多位第二种，使用模式识别的方法来进行识别，但这种方法精度相比深度学习的方法的精度低，故本发明使用精度较高的基于深度学习中深度自编码网络来进行异常行为的识别。

发明内容

有鉴于此，本发明的主要目的在于提供一种检测精度高、鲁棒性强的基于视觉显著性和深度自编码的公共场景智能视频监控方法，大大提高了检测精度，同时，能应对多种场景下的异常行为识别，鲁棒性很强。

为了达到上述目的，本发明提出的技术方案为：一种基于视觉显著性和深度自编码的公共场景智能视频监控方法，实现步骤如下：

步骤1、读取公共场景下的视频，将视频分解成单个帧，然后基于高斯差分组合带通滤波器，计算每一帧的视觉显著性图，以此来提取运动信息；

步骤2、在每帧显著性图的基础上，计算相邻帧的光流，从而提取前景目标的运动信息，获取运动特征；

步骤3、在异常识别的算法中包含训练和测试两个过程，在训练过程中，计算训练样本的视觉显著性图并提取运动特征，将得到的光流特征转换为列向量作为深度自编码网络的输入，使用深度自编码网络中编码器的降维和解码器的重建作用，通过最小化损失函数重建输入，训练深度自编码网络；

步骤4、通过最小化损失函数重建输入，训练深度自编码网络后，提取训练好的深度自编码网络的编码器部分作为测试过程中的网络，分别计算出训练样本和测试样本的显著性图和运动特征后，以各个样本的光流特征作为深度自编码网络中编码器的输入，通过所述编码器网络的降维操作，用低维向量来提取最能代表输入的低维特征；

步骤5、在三维坐标中可视化测试过程中编码器网络的结果，用一个超球体表示其中训练样本降维后的分布范围；

步骤6、对于输入测试样本的异常识别，若测试样本可视化的范围落入超球体的范围内，则判定该测试样本为正常序列；反之，落在超球体范围以外，则判定该测试样本为异常序列，由此实现异常行为的识别，公共场景下视频的智能监控。

所述步骤1中视觉显著性图的方法如下：

步骤i)对于一帧图像，图像中每个点的显著度定义为：