[发明专利]基于多线索融合的暴恐音视频识别方法及装置

权利要求书

1.一种基于多线索融合的暴恐音视频识别方法，其特征在于，所述方法包括：

对待检测音视频进行镜头分割，提取音频帧序列和视频帧序列；

按照预先指定的检测顺序检测所述音频帧序列和视频帧序列中是否包含暴恐信息，具体包括：利用基于深度卷积神经网络所构建的视频识别模型对所述视频帧序列进行暴恐识别；并利用基于连接时序深度卷积神经网络所构建的音频识别模型对所述音频帧序列进行暴恐识别；所述视频识别模型中的各子识别模型以及所述音频识别模型按照预先指定的检测顺序分三级检测所述音频帧序列和/或视频帧序列的暴恐信息；其中，在第一级检测中使用所述视频识别模型中的第一视频识别子模型识别所述视频帧序列中是否包括用于指示暴恐信息的特殊标志；在第一级检测中并未检测到所述特殊标志的情况下，在第二级检测中使用所述视频识别模型中的第二视频识别子模型识别所述视频帧序列中是否包括用于指示暴恐信息的特殊人物；在第二级检测中并未检测到所述特殊人物的情况下，在第三级检测中使用所述视频识别模型中的第三视频识别子模型识别所述视频帧序列中是否包括用于指示暴恐信息的特殊物体，或使用所述音频识别模型识别所述音频帧序列中是否包括用于指示暴恐信息的特定声音；

如果所述音频帧序列和/或视频序帧列包含暴恐信息，则确定所述待检测音视频为暴恐音视频，并停止检测级别排序在后各识别模型的检测；

其中，对所述视频帧序列进行暴恐识别包括：根据每个视频帧的静态特征和动态特征进行暴恐识别，所述静态特征包括视频帧的颜色、纹理和结构，所述动态特征包括视频帧中主角的运动幅度、方向和频率；

对所述音频帧序列进行暴恐识别包括：根据所述音频帧序列的时频特征进行暴恐识别。

2.根据权利要求1所述的基于多线索融合的暴恐音视频识别方法，其特征在于，在“对待检测音视频进行镜头分割，提取音频帧序列和视频帧序列”中提取视频帧序列的方法为：

提取所述待检测音视频的每帧视频帧的直方图，对相邻视频帧的直方图进行差异比较，以确定所述待检测视频的镜头边界；

根据所确定的镜头边界，选取所述待检测视频各镜头的起始帧、中间帧、结束帧作为关键视频帧；

由所述关键视频帧生成所述待检测音视频的视频帧序列。

3.一种存储装置，其中存储有多条程序，其特征在于，所述程序适于由处理器加载并执行以实现权利要求1或2所述的基于多线索融合的暴恐音视频识别方法。

4.一种处理装置，包括

处理器，适于执行各条程序；以及

存储设备，适于存储多条程序；

其特征在于，所述程序适于由处理器加载并执行以实现：

权利要求1或2所述的基于多线索融合的暴恐音视频识别方法。