[发明专利]一种融合多元信息的高精度视频异常事件检测方法

权利要求书

1.一种融合多元信息的高精度视频异常事件检测方法，其特征在于，包括以下步骤：

步骤1：通过无异常事件视频得到多帧视频图像，多帧视频图像通过分组得到多组视频图像数据集，根据多组视频图像数据集构建视频图像训练集，将多帧视频图像通过Lucas-Kanade光流提取方法得到多帧光流图像，将多帧光流图像通过分组得到多组光流图像数据集，根据多组光流图像数据集构建光流图像训练集；

步骤2：构建视频光流深度学习网络；

步骤3：随机选择视频图像样本中视频图像数据集以及对应的光流图像样本中光流图像数据集，构建视频光流误差损失模型，视频光流误差损失模型输出最小为优化目标，优化训练视频光流深度学习网络，得到训练后视频光流深度学习网络；

步骤4：将待检测视频图像通过训练后视频光流深度学习网络，通过视频光流误差计算得到待检测视频光流图像的误差，进一步通过与误差阈值器比较从而判断视频图像是否存在异常事件；

步骤1所述多帧视频图像为：

I_i，1，I_i，2，…，I_i，N

i∈[1，M]

其中，M为无异常事件视频的数量，N为无异常事件视频中视频图像的帧的数量，I_i，j为第i个无异常事件视频中第j帧图像，j∈[1,N]；

I_i，j具体定义为第i个无异常事件视频中第j帧图像：

步骤1所述通过分组得到多组视频图像数据集为：

data_i，k＝{I_{i，(k-1)*L+1}，I_{i，(k-1)*L+2}，...，I_{i，(k-1)*L+L}}

k∈[1，N/L]

其中，data_i，k为第i个无异常事件视频中第k组视频图像数据集，L为每组图像数据集中视频图像的帧的数量，N为无异常事件视频中视频图像的帧的数量，I_{i，(k-1)*L+l}为第i个无异常事件视频中第k组视频图像数据集中第l个图像，I_{i，(k-1)*L+l}为第i个无异常事件视频中第(k-1)*L+l帧图像，l∈[1,L]；

步骤1所述构建视频图像训练集为：

构建视频图像样本为：

testA_i＝(data_i，1，data_i，2，...，data_i，N/L)

其中，data_i，k为第i个无异常事件视频中第k组视频图像数据集，k∈[1，N/L]；

所述视频图像训练集为：

trainA＝(testA₁，testA₂，...，testA_M)

其中，testA_i为第i个视频图像样本，i∈[1，M]；

步骤1所述多帧视频图像通过Lucas-Kanade光流提取方法得到多帧光流图像，具体为：

步骤1所述通过分组得到多组光流图像数据集为：

O_i，1，O_i，2，...，O_i，N

i∈[1，M]

其中，M为无异常事件视频的数量，N为无异常事件视频中视频图像的帧的数量，O_i，j为第i个无异常事件视频中第j帧光流图像，j∈[1，N]；

通过分组得到多组视频光流图像数据集为：

k∈[1，N/L]

其中，为第i个无异常事件视频中第k组视频光流图像数据集，L为每组光流图像数据集中视频光流图像的帧的数量，N为无异常事件视频中视频光流图像的帧的数量，O_{i，(k-1)*L+l}为第i个无异常事件视频中第k组视频光流图像数据集中第1个图像，O_{i，(k-1)*L+l}为第i个无异常事件视频中第(k-1)*L+l帧光流图像，l∈[1，L]；

步骤1所述构建光流图像训练集为：

构建视频图像样本为：

其中，为第i个无异常事件视频中第k组视频光流图像数据集，

k∈[1，N/L]；

所述视频图像训练集为：

trainB＝(testB₁，testB₂，...，testB_M)

其中，testB_i为第i个视频光流图像样本，i∈[1，M]；

步骤2所述视频光流深度学习网络包括：视频图像特征提取模块、视频图像特征重构模块、光流图像特征提取模块、光流图像特征重构模块；

所述视频图像特征提取模块与所述视频图像特征重构模块串联连接；

所述光流图像特征提取模块与所述光流图像特征重构模块串联连接；

所述视频图像特征提取模块用于输入步骤1所述视频图像样本中视频图像数据集，所述视频图像特征提取模块的输出为视频图像样本中视频图像数据集特征；

所述光流图像特征提取模块用于输入步骤1所述光流图像样本中光流图像数据集，所述视频图像特征提取模块的输出为光流图像样本中光流图像数据集特征；

所述视频图像特征重构模块将特征通过重构，得到重构后视频图像数据集；

所述光流图像特征重构模块将光流图像样本中光流图像数据集特征通过重构，得到重构后光流图像数据集；

所述视频图像特征提取模块由多个视频提取模块依次级联构成；

所述视频提取模块由第一视频提取器、第二视频提取器、第三视频提取器依次级联构成；

每个视频提取器由视频提取卷积层、视频提取隐含层构成；

所述第一视频提取器包括：卷积核大小为A₁的卷积层以及ReLU激活层，第一视频提取器卷积层待优化参数为

所述第二视频提取器包括：卷积核大小为A₂的卷积层以及ReLU激活层，第二视频提取器待卷积层优化参数为

所述第三视频提取器包括：卷积核大小为A₃的卷积层以及ReLU激活层，第三视频提取器卷积层待优化参数为

所述视频图像特征重构模块由多个视频重构模块依次级联构成；

所述视频重构模块由第一视频重构器、第二视频重构器、第三视频重构器依次级联构成；

每个视频重构器由视频重构卷积层、视频重构隐含层构成；

所述第一视频重构器包括：卷积核大小为A₄的卷积层以及ReLU激活层，第一视频重构器卷积层待优化参数为

所述第二视频重构器包括：卷积核大小为A₅的卷积层以及ReLU激活层，第二视频重构器卷积层待优化参数为

所述第三视频重构器包括：卷积核大小为A₆的卷积层以及ReLU激活层，第三视频重构器卷积层待优化参数为

所述光流图像特征提取模块由多个光流提取模块依次级联构成；

所述光流提取模块由第一光流提取器、第二光流提取器、第三光流提取器依次级联构成；

每个光流提取器由光流提取卷积层、光流提取隐含层构成；

所述第一光流提取器包括：卷积核大小为B₁的卷积层以及ReLU激活层，第一光流提取器卷积层待优化参数为

所述第二光流提取器包括：卷积核大小为B₂的卷积层以及ReLU激活层，第二光流提取器卷积层待优化参数为

所述第三光流提取器包括：卷积核大小为B₃的卷积层以及ReLU激活层，第三光流提取器卷积层待优化参数为

所述光流图像特征重构模块由多个光流重构模块依次级联构成；

所述光流重构模块由第一光流重构器、第二光流重构器、第三光流重构器依次级联构成；

每个光流重构器由光流重构卷积层、光流重构隐含层构成；

所述第一光流重构器包括：卷积核大小为B₄的卷积层以及ReLU激活层，第一光流重构器卷积层待优化参数为

所述第二光流重构器包括：卷积核大小为B₅的卷积层以及ReLU激活层，第二光流重构器卷积层待优化参数为

所述第三光流重构器包括：卷积核大小为B₆的卷积层以及tanh激活层，第三光流重构器卷积层待优化参数为

步骤3中所述随机选择视频图像样本中视频图像数据集以及对应的光流图像样本中光流图像数据集为：

在trainA数据集和trainB数据集中随机选择同一视频时刻的视频图像和视频光流图像，(testA_k，testB_k),k∈[1，M]

步骤3所述构建视频光流误差损失模型为：

通过计算输入的视频图像I_i，j和视频光流图像O_i，j与重建的视频图像和视频光流图像的最小均方误差，作为网络训练的损失函数L，具体定义为：

i∈[1,M],k∈[1,N/L]

其中，data_i，k表示第i个待检测视频中第k组视频图像数据集，表示第i个待检测视频中第k组视频的重建的图像数据集；表示第i个待检测视频中第k组视频光流图像数据集，表示第i个待检测视频中第k组视频的重建的光流图像数据集；

步骤3所述优化训练视频光流深度学习网络为：使用随机梯度下降优化方法优化网络参数，所述优化后网络参数为：

第一视频提取器卷积层优化后参数第二视频提取器待卷积层优化后参数第三视频提取器卷积层优化后参数第一视频重构器卷积层优化后参数第二视频重构器卷积层优化后参数第三视频重构器卷积层优化后参数第一光流提取器卷积层优化后参数为第二光流提取器卷积层优化后参数为第三光流提取器卷积层优化后参数为第一光流重构器卷积层优化后参数为第二光流重构器卷积层优化后参数为第三光流重构器卷积层优化后参数为

步骤3所述训练后视频光流深度学习网络为：

通过优化后网络参数构建的训练后视频光流深度学习网络；

步骤4所述将待检测视频图像通过训练后视频深度学习网络为：

计算输入的视频图像与重建的视频图像的均方误差L_I:

i∈[1,M],k∈[1,N/L]

其中data_i，k表示第i个待检测视频中第k组视频图像数据集，表示第i个待检测视频中第k组视频的重建的图像数据集；

步骤4所述通过视频光流误差计算得到待检测视频光流图像的误差：

计算输入的视频光流图像与重建视频光流图像的均方误差L_o:

i∈[1,M],k∈[1,N/L]

其中表示第i个待检测视频中第k组视频光流图像数据集，表示第i个待检测视频中第k组视频的重建的光流图像数据集；

步骤4所述进一步通过与误差阈值T比较从而判断视频图像是否存在异常事件为：

联合视频图像的重建误差和视频光流图像的重建误差:

i∈[1,M],k∈[1,N/L]

其中，data_i，k表示第i个待检测视频中第k组视频图像数据集，表示第i个待检测视频中第k组视频的重建的图像数据集，表示第i个待检测视频中第k组视频光流图像数据集，表示第i个待检测视频中第k组视频的重建的光流图像数据集，L_i，k表示为第i个待检测视频中第k组视频；

判断是否存在异常事件，L_i，k大于阈值T的表示为第i个待检测视频中第k组视频中有异常事件，L_i，k小于阈值T的表示为第i个待检测视频中第k组视频中没有异常事件；