[发明专利]基于音视频内容的音视频属性比对方法、系统、终端及介质

说明书

本发明属于音视频技术领域，公开了一种基于音视频内容的音视频属性比对方法、系统、终端及介质，通过抽图像块采样、图像前后景分层标示、动静态特征匹配运算、字幕和图标分离、滤波和波形变换等过程，实现基于内容的视频属性的提取。本发明结合卷积神经网络技术，针对短视频内容特征比对技术研究，通过深度学习模型构建、样本特征提取、样本特征快速比对、分布式并行计算、数据视化展示、弹性扩展架构等技术开发，可支持移动存储设备视频样本比对和支持API接口调用形式进行对图像及视频进行低俗涉黄属性识别，实现淫秽、色情、低俗、暴恐等短视频分类筛查，为网络环境的监管提供先进科技武器和装备。

技术领域

本发明属于音视频技术领域，尤其涉及一种基于音视频内容的音视频属性比对方法、系统、终端及介质。

背景技术

目前，随着互联网的不断发展，通过互联网传播的图片、视频及音频等多媒体信息具有内容丰富、感观性强等特点，已经逐渐成为不良信息在互联网上传播所采取的主要方式之一。而其中不乏暴力恐怖类视频，这类视频对未成年人容易造成不好的心理影响。所造成的文化污染、网络犯罪等问题已经受到人们越来越多的关注。如何及时发现网络中的暴力恐怖类视频，并准确地对这些信息进行识别和判断，进而采取有效的监管措施，已经成为十分紧迫的问题。

对互联网上的音视频进行分类管控，传统的方式是通过人工检测审核处理海量的音视频，这种方法工作量大，错看漏看、来不及看等已成为常见的困扰点，简单依靠人工检测、查看所有视频图像数据已经不太现实。以往的音视频属性提取一般是由音视频解码器针对视频内容的编码、封装参数的描述，与内容本身的含义、分类无关，无法根据音视频的内容进行准确的属性定义，不能全面及时地管控暴力恐怖类视频的扩散，因此希望找到一种能够实现自动化的暴力恐怖音视频检测的方法。

通过上述分析，现有技术存在的问题及缺陷为：

(1)传统的方式是通过人工检测审核处理海量的音视频，这种方法工作量大，错看漏看、来不及看等已成为常见的困扰点，简单依靠人工检测、查看所有视频图像数据已经不太现实。

(2)以往的音视频属性提取一般是由音视频解码器针对视频内容的编码、封装参数的描述，与内容本身的含义、分类无关，无法根据音视频的内容进行准确的属性定义，不能全面及时地管控暴力恐怖类视频的扩散。

发明内容

针对现有技术存在的问题，本发明提供了一种基于音视频内容的音视频属性比对方法、系统、终端及介质。

本发明是这样实现的，一种基于音视频内容的音视频属性比对方法，进行音视频数据的采集，将采集的视频重命名，命名是按照，编写程序，导入音视频文件包，然后逐个遍历音视频，按照文件名的关键词将采集的音视频数据信息进行初步的分类；

根据获得分类后的音视频数据信息，进行视频的抽图像块采样、图像前后景分层标示、动静态特征匹配运算、字幕和图标分离、滤波和波形变换，实现基于内容的视频属性的提取，同时结合CNN卷积神经网络实现对视频图像抽图像块、训练、匹配、识别操作；

视频图像识别包括：

构建视频图像特征识别矩阵分析短视频播放状态，对于图像序列在时间间隔很小的情况下，用式(1)的状态模型来预测；

S(n)＝Φ·S(n-1)+W(n-1) (1)

其中S(n)表示在第n图像块图像中的系统状态，W(n-1)表示的是系统的估计误差，Φ是状态转换矩阵；则：

其中，Δx(n)、Δy(n)是短视频运动目标在相邻两图像块间x和y方向的速度量，Δx′(n)、Δy′(n)是其x和y方向的加速度，x_s(n)、y_s(n)表示目标物的矩形窗口的长度和宽度，x′_s(n)、y′_s(n)表示其矩形窗口的长度和宽度的变化率；