[发明专利]基于多视角多示例学习的恐怖视频场景识别方法

摘要

本发明公开了一种基于多视角多示例学习的恐怖视频识别方法，其包括：对训练视频集合中的视频提取视频镜头，并针对每个视频镜头选取情感代表帧和情感突变帧；对训练视频集合中每个视频镜头提取音频和视觉特征，其中视觉特征基于所提取的情感代表帧和情感突变帧提取；对于每一个视频提取其四个视角特征向量，构成训练视频集合的多视角特征集合；对所得到的训练视频集合对应的多视角特征集合和待识别视频的多视角特征向量进行稀疏重构，得到稀疏重构系数；根据所述稀疏重构系数计算待识别视频的多视角特征向量与训练视频集合中恐怖视频集合与非恐怖视频集合分别对应的多视频特征集合的重构误差，进而确定待识别视频是否为恐怖视频。

主权项

一种基于多视角多示例学习的恐怖视频识别方法，其包括：步骤1、对训练视频集合中的视频提取视频镜头，并针对每个视频镜头选取情感代表帧和情感突变帧；步骤2、对训练视频集合中每个视频镜头提取音频和视觉特征，其中视觉特征基于所提取的情感代表帧和情感突变帧提取；步骤3、对于每一个视频提取其四个视角特征向量，构成训练视频集合的多视角特征集合，所述四个视角特征包括独立视角特征、中层上下文视角特征、低层上下文视角特征、情感特征分布视角特征；步骤4、对所得到的训练视频集合对应的多视角特征集合和待识别视频的多视角特征向量进行稀疏重构，得到稀疏重构系数；步骤5、根据所述稀疏重构系数计算待识别视频的多视角特征向量与训练视频集合中恐怖视频集合与非恐怖视频集合分别对应的多视频特征集合的重构误差，进而确定待识别视频是否为恐怖视频。