[发明专利]基于非局部网络深度学习的视频异常行为判别方法

摘要

本发明公开了一种基于非局部网络深度学习的视频异常行为判别方法，属于计算机视觉与智能、多媒体信号处理领域。本发明使用多示例学习的思路构建训练集合，定义和标注视频数据的正负包和示例。采用非局部网络进行视频样本的特征提取，残差结构的I3D网络作为提取时空信息的卷积滤波器，非局部网络块融合长距离依赖信息，以满足视频特征提取的时序和空间需求。获取特征后，通过弱监督的学习方法建立回归任务，训练模型。本发明对可对未标注的类别进行判别，适用于异常检测任务正样本稀少并且类内多样性高的状况。这种方法满足了异常场景的召回率需求，具有工程应用价值。

主权项

1.基于非局部网络深度学习的视频异常行为判别方法，其计算处理步骤如下，其特征在于：将视频数据分为正负包并切割成示例后使用多示例学习结合非局部网络进行异常行为判别，使用多示例学习的思路构建训练集合，定义和标注视频数据，采用非局部网络进行视频样本的特征提取，再通过弱监督的学习方法建立回归任务，训练模型，方法包括如下步骤：(1)将视频分为正负包，并平均分割作为示例；(2)将步骤(1)得到的视频数据送入在Kinetics数据库训练好的非局部网络，进行特征提取；(3)将上一步得到的特征信息送入全连接网络，得到异常评分；(4)按照多示例学习思想所建立的排序损失来训练步骤(3)中的全连接网络。