[发明专利]基于多线索融合的暴恐音视频识别方法及装置

说明书

本发明涉及计算机视频分类领域，提出了一种基于多线索融合的暴恐音视频识别方法，旨在解决音视频识别中，单一媒体模态分析音视频造成的大量误检和漏检问题。该方法包括：对用于进行暴恐识别的待检测音视频进行分割，提取音频帧序列和视频帧序列；按照预先指定的检测顺序检测所述音频帧序列和视频帧序列中是否包含暴恐信息；如果所述音频帧序列和/或视频序帧列包含暴恐信息，确定所述待检测音视频为暴恐音视频。本发明基于多个线索对音视频进行分级检测，能够快速、准确的从大量的音视频中识别出暴恐视频。

技术领域

本发明涉及计算机视觉技术领域，特别涉及视频分类领域，具体涉及一种基于多线索融合的暴恐音视频识别方法及装置。

背景技术

暴恐音视频是指含有宣扬恐怖活动等非法内容的音频或视频。随着网络技术的飞速发展，移动互联网时代随之而来，这使得越来越多的多媒体数据呈现在人们的眼前，暴恐视频也得以大量传播和扩散。网络暴恐音视频的识别技术，可以保障互联网视频内容安全、遏制恐怖主义的传播扩散、维护国家稳定。

网络音视频作为一种极具感染力和表现力的媒体模态，在形式上和内容上都具有很强的复杂性，这造成了对特定音视频内容理解与识别困难。在形式上，视频融合了声音、图像、文本等多种媒体模态，需要分析视频中各模态的语义信息并相互补充和协同，才可以准确判断视频内容的性质；在内容上，暴恐的定义是无法从单一维度给出的，很多暴恐音视频与正常视频极为相似，因此需要充分挖掘视频中的特殊标识、特殊声音和特定人物等局部线索，并对多种维度的线索进行融合分析，才能够推理出视频内容的性质。

现有的音视频内容理解与识别多为从某单一媒体模态分析视频，例如仅从音频角度或者图像角度，缺少不同模态形式的协同，并且没有充分挖掘视频中的局部线索，仅仅对视频整体做分类，不仅会存在大量误检和漏检情况，而且无法精确定位视频中的可疑区域和对应类别。同时，大多数音视频识别算法也并未充分考虑互联网环境下视频的数量大、来源广、编码格式复杂多样等特点，在计算速度、运行鲁棒性和资源消耗等方面难以满足真实互联网环境下的音视频内容理解与识别任务需求。

发明内容

为了解决现有技术中的上述问题，即为了解决暴恐音视频识别中由于无法充分挖掘视频中的局部线索，存在大量误检和漏检情况，无法精确定位视频中的可疑区域和对应类别的问题。本申请提供了一种基于多线索融合的暴恐音视频识别方法，以解决上述问题。

第一方面，本申请提供了基于多线索融合的暴恐音视频识别方法，该方法包括如下步骤：对待检测音视频进行镜头分割，提取音频帧序列和视频帧序列；按照预先指定的检测顺序检测上述音频帧序列和视频帧序列中是否包含暴恐信息；如果所述音频帧序列和/或视频序帧列包含暴恐信息，则确定所述待检测音视频为暴恐音视频。

在一些示例中，在“对待检测音视频进行镜头分割，提取音频帧序列和视频帧序列”中提取视频帧序列的方法为：提取上述待检测音视频的每帧视频帧的直方图，对相邻视频帧的直方图进行差异比较，以确定上述待检测视频的镜头边界；根据所确定的镜头边界，选取上述待检测视频各镜头的起始帧、中间帧、结束帧作为关键视频帧；由上述关键视频帧生成上述待检测音视频的视频帧序列。

在一些示例中，“按照预先指定的检测顺序检测上述音频帧序列和视频帧序列中是否包含暴恐信息”，包括：利用预先构建的视频识别模型对上述视频帧序列进行暴恐识别，确定上述视频帧序列中是否包含暴恐信息；上述视频识别模型基于深度卷积神经网络构建；利用预先构建的音频识别模型对上述音频帧序列进行暴恐识别，确定上述音频帧序列中是否包含暴恐信息；上述音频识别模型基于连接时序深度卷积神经网络构建。

在一些示例中，上述预先构建的视频识别模型包括对具有特殊标志的视频帧进行检测的第一视频识别子模型；以及，“利用预先构建的视频识别模型对上述视频帧序列进行暴恐识别，确定上述视频帧序列中是否包含暴恐信息”，包括：利用上述第一视频识别子模型检测上述视频帧序列中是否包含预先指定标志的信息；根据上述第一视频识别子模型检测结果，确定上述视频帧序列中是否包含暴恐信息。