[发明专利]基于深度视频事件补全的视频数据异常识别方法和装置

权利要求书

1.一种基于深度视频事件补全的视频数据异常识别方法，其特征在于，所述方法包括：

获取当前视频帧中前景目标所在的前景目标区域，从包括当前视频帧的预设长度的视频帧序列中，获取每个视频帧在所述前景目标区域的图像数据，根据得到的图像数据序列生成视频事件数据；

从所述视频事件数据的所述图像数据序列中抽除预设数量的图像数据，得到对应的不完整视频事件数据，将所述不完整视频事件数据输入预先训练的深度视频事件补全模型，得到对应的外观补全图像数据和运动信息补全数据；所述深度视频事件补全模型包括基于深度神经网络的外观补全网络和运动补全网络；

根据被抽除的所述图像数据和所述外观补全图像数据之间的误差，以及根据被抽除的所述图像数据的运动信息数据和所述运动信息补全数据之间的误差，识别所述视频事件数据中的异常。

2.根据权利要求1所述的方法，其特征在于，获得所述预先训练的深度视频事件补全模型的方式包括：

将预设的视频数据中的一个视频帧标记为基准视频帧，获取所述基准视频帧中前景目标所在的前景目标区域，从包括所述基准视频帧的预设长度的视频帧序列中，获取每个视频帧在所述前景目标区域的图像数据，根据得到的图像数据序列生成视频事件数据，作为训练样本集；

从所述视频事件数据的所述图像数据序列中抽除预设数量的图像数据，得到对应的不完整视频事件数据，将所述不完整视频事件数据输入预先设置的深度视频事件补全模型；

根据被抽除的所述图像数据和所述外观补全图像数据之间的误差，以及根据被抽除的所述图像数据的运动信息数据和所述运动信息补全数据之间的误差定义误差函数，根据所述误差函数训练所述深度视频事件补全模型，得到训练好的深度视频事件补全模型。

3.根据权利要求1所述的方法，其特征在于，所述获取当前视频帧中前景目标所在的前景目标区域，从包括当前视频帧的预设长度的视频帧序列中，获取每个视频帧在所述前景目标区域的图像数据，根据得到的图像数据序列生成视频事件数据之前还包括：

获取当前视频帧的外观线索信息，根据所述外观线索信息和预设的一般前景目标区域过滤规则，得到当前视频帧的一般前景目标区域；

获取当前视频帧的运动线索信息，根据所述运动线索信息和预设的运动前景目标区域过滤规则，得到当前视频帧的运动前景目标区域；

根据所述一般前景目标区域和所述运动前景目标区域，得到当前视频帧中前景目标所在的前景目标区域。

4.根据权利要求3所述的方法，其特征在于，所述获取当前视频帧的外观线索信息，根据所述外观线索信息和预设的一般前景目标区域过滤规则，得到当前视频帧的一般前景目标区域的步骤包括：

使用预先训练的目标检测器基于外观线索获取当前视频帧中的目标区域；

根据预设的一般前景目标区域过滤规则过滤当前视频帧中的所述目标区域，得到当前视频帧中基于外观线索的一般前景目标区域；所述一般前景目标区域过滤规则包括：根据目标区域面积阈值和目标区域交叠阈值过滤当前视频帧中的所述目标区域。

5.根据权利要求3所述的方法，其特征在于，所述获取当前视频帧的运动线索信息，根据所述运动线索信息和预设的运动前景目标区域过滤规则，得到当前视频帧的运动前景目标区域的步骤包括：

获取当前视频帧的光流数据，根据预设的门限值对所述光流数据进行二值化处理，得到当前视频帧中包含显著前景运动的运动前景区域；

去除与所述一般前景目标区域重合的所述运动前景区域，对剩余的所述运动前景区域进行轮廓检测，根据预设的运动前景目标区域过滤规则过滤轮廓检测的结果，得到当前视频帧中基于运动线索的运动前景目标区域；所述运动前景目标区域过滤规则包括：根据运动前景区域面积阈值和运动前景区域纵横比阈值过滤所述轮廓检测的结果。