[发明专利]基于时空自动编码器的异常行为检测方法

摘要

基于时空自动编码器的异常行为检测方法属图像处理和模式识别技术领域，本发明首先获取待测区域的视频图像，然后将视频的光流信息和RGB信息分别输入到时空自编码器中，经过自动编码器中的3D卷积层、池化层、LSTM层和反卷积层，得出重构信息，将输入的信息与重构信息进行对比，分别依据异常评分公式得到异常评分，再将两种异常评分融合得到综合异常评分，与阈值进行比较，判别是否存在异常行为以及异常情况出现的时间，异常评分越高，异常情况发生的可能性越大。本发明通过融合多模态输入信息的时空自动编码器，在银行等公共区域检测到人群中的异常行为并给安保人员发出预警，以减少重大异常事件等突发情况的发生。

主权项

1.一种基于时空自动编码器的异常行为检测方法，其特征在于，包括下列步骤：1.1制作监控视频数据集，并对视频进行预处理，具体包括下列步骤：1.1.1将全部视频分为训练集和测试集，其中训练集占80％，测试集占20％，训练集中仅包含正样本视频，测试集中包含正样本和负样本视频；1.1.2预处理：将训练集和测试集中的视频流分别转化成大小为224*224的帧图像，并对数据集进行扩充，即对帧图像进行亮度转变、高斯噪声处理以得到更多的训练集；1.2提取多模态特征信息，选择图像的RGB信息和光流信息作为特征信息，具体包括下列步骤：1.2.1计算每10帧间的光流信息，利用Gunnar Farneback算法对图像进行稠密光流计算；1.2.2计算每10帧图像的RGB信息，转化为灰度信息；1.2.3对得到的光流信息和灰度信息进行零均值的归一化处理，并存储在.npy文件中；1.3将处理过的光流信息输入时空自动编码器中，利用时空自动编码器中的卷积和反卷积操作，输出重构信息，具体包括下列步骤：1.3.1将光流信息和灰度信息分别作为输入，输入层的尺寸为224*224*10*1；1.3.2设计时空自动编码器，共11层网络，由3D卷积层、最大池化层、LSTM、上采样层和反卷积层组成，具体结构如下：1.3.2.1第1、3层为3D卷积层，卷积层深度分别为128、64，卷积核分别为5*5*1、3*3*1，步长分别为2*2*1、2*2*1，激活函数均为relu函数；1.3.2.2第2、4层为最大池化层，池大小为2*2*1；1.3.2.3第5、6、7层为LSTM层、反卷积层中卷积层深度分别为64、32、64，卷积核均为3*3*1；1.3.2.4第8、10层为上采样层，尺寸为2*2*1；1.3.2.5第9、11层为反卷积层，反卷积层中卷积层深度分别为64、128，卷积核分别为3*3*1、5*5*1，步长分别为2*2*1、2*2*1，激活函数均为relu函数；1.3.3数据经过时空自动编码器后，其特征图大小变化情况为：1.3.3.1卷积层输入特征图大小为224*224*1*10，经过第1层特征图变为112*112*128*10，经过第2层特征图变为56*56*64*10，经过第3层特征图变为28*28*64*10，经过第4层特征图变为14*14*64*10；1.3.3.2LSTM层的输入为上一层卷积层的输出，经过3层LSTM层，特征图大小仍为14*14*64*10；1.3.3.3上采样层的输入为上一层LSTM层的输出，经过第7层特征图变为28*28*64*10，经过第9层反卷积层特征图变为56*56*128*10，经过第10层特征图还原为112*112*128*10，经过第11层反卷积层特征图变为224*224*1*10；1.3.4在训练过程中，随机抽取训练集中15％数据作为验证集，训练50轮；采用随机梯度下降算法；初始学习率为0.03；权重衰减参数为0.000001；momentum设置为0.9；将训练好的模型保存成.h5模型，以用作测试模型；1.4完成步骤1.1和1.2的操作，得到.npy文件，将.npy文件输入步骤1.3.4中保存的.h5模型中，得到重构的光流信息和灰度信息，将重构信息与原始输入信息进行对比，分别得出异常评分，再对异常评分进行信息融合，建立异常检测评估模型，具体包括下列步骤：1.4.1计算重建误差：计算输入图像序列和重建的图像序列的所有像素值，计算两者间的欧式距离:e(t)＝||x(t)‑fw(x(t))||2其中：e(t)为重建误差，x(t)为输入序列像素，fw(x(t))为输出序列像素；1.4.2计算异常评分和正常评分，包括下列步骤：1.4.2.1计算异常评分：根据重建误差，计算图像序列的异常评分，异常评分限制在[0,1]：其中：sa(t)为异常评分，e(t)为重建误差，e(t)min为重建误差序列中的最小项，e(t)max为重建误差序列中的最大项；1.4.2.2计算正常评分：sr(t)＝1‑sa(t)其中：sr(t)为正常评分，sa(t)为异常评分；1.4.3对分别得出的异常评分进行信息融合：sz(t)＝(sa1(t)+sa2(t))/2其中，sa1(t)是光流信息异常评分，sa2(t)是灰度信息异常评分，sz(t)是光流和灰度信息融合之后的综合异常评分；1.5设定阈值：设定合适的阈值，当图像序列的综合异常评分高于阈值，说明视频中出现异常行为，将发送警报提醒安保人员，防止重大异常事故发生。