[发明专利]基于音视频内容的音视频属性比对方法、系统、终端及介质

权利要求书

1.一种基于音视频内容的音视频属性比对方法，进行音视频数据的采集，将采集的视频重命名，命名是按照，编写程序，导入音视频文件包，然后逐个遍历音视频，按照文件名的关键词将采集的音视频数据信息进行初步的分类，其特征在于，根据获得分类后的音视频数据信息，进行视频的抽图像块采样、图像前后景分层标示、动静态特征匹配运算、字幕和图标分离、滤波和波形变换，实现基于内容的视频属性的提取，同时结合CNN卷积神经网络实现对视频图像抽图像块、训练、匹配、识别操作；

视频图像识别包括：

构建视频图像特征识别矩阵分析短视频播放状态，对于图像序列在时间间隔很小的情况下，用式(1)的状态模型来预测；

S(n)＝Φ·S(n-1)+W(n-1) (1)

其中S(n)表示在第n图像块图像中的系统状态，W(n-1)表示的是系统的估计误差，Φ是状态转换矩阵；则：

其中，Δx(n)、Δy(n)是短视频运动目标在相邻两图像块间x和y方向的速度量，Δx′(n)、Δy′(n)是其x和y方向的加速度，x_s(n)、y_s(n)表示目标物的矩形窗口的长度和宽度，x′_s(n)、y′_s(n)表示其矩形窗口的长度和宽度的变化率；

在采样时间Δt很小且矩形变化为线性时，则：

当系统状态与观测值之间是线性关系时，系统量测方程为：

M(n)＝H·S(n)+V(n) (4)

M(n)表示量测向量，H是量测矩阵，V(n)是量测误差，且：

构建视频图像特征识别矩阵为：

利用运动目标的特征与目前目标所处的区域特点构建新矩阵，利用矩形跟踪法判别目标是否产生、是否消失；并分析目标特征，预判目标状态空间，判断目标的所处运动状态；

获取短视频播放状态后，进行是否合法判断：

将短视频划分为不重叠的部分，每部分有w_l图像块，被称为图像块窗口，图像块窗口的长度应尽量小以进行实时编码，选择w_l为短视频一秒内的图像块数，覆盖持续一秒内的视觉事件；

从每个图像块窗口中选择关键图像块，图像块号为k，以关键图像块为中心图像块形成一个长度为2G+1的关键段，G是固定值，对应于关键图像块和关键段的集合为k-G，k-G+1，...，k-1，k，k+1，...，k+G，关键图像块是关键段中的中心图像块，关键段的长度2G+1小于图像块窗口的长度w_l；

通过对关键图像块进行高度压缩构成参考图像块，参考图像块记录着关键图像块的主要内容，对于图像块窗口内不在关键段中的其他图像块，通过图像块窗口号、图像块号以及其他图像块与同一个窗口内关键图像块的距离构成图像块索引；

将参考图像块嵌入到关键段中，图像块窗口内不属于关键段的其他图像块的图像块索引被嵌入到同一图像块中；

每个参考图像块都被视为一个合法比特序列，每个是比特的信息，其中表示编码符号长度，是编码符号的数量，关键段中的每个图像块都被分解成个大小为的块，块的大小表示是否合法位的精度表示：

式中，表示N表示图像块分解的块数，b²表示块的大小，W表示短视频宽度，H表示短视频高度；

对于每一图像块j，被分解的N个块表示为B_j，1，...，B_j，N，利用喷泉编码将参考图像块嵌入这些块中B_j，p，1≤p≤N and k-G≤j≤k+G，(2G+1)N块中的每个块都携带从参考图像块R₁，...，R_n进行喷泉编码而获得的水印有效载荷符号，B_j，p的相应水印有效载荷由W_j，p表示，并计算为R₁，...，R_n的伪随机线性组合，W_j，p的符号长度等于SL；验证水印由哈希函数B_j，p和W_j，p组成：

H_j，p＝Hash(B_j，p，W_j，p，j，p，key)；

关键图像块的选择使用基于直方图比较方法即基于图像块窗口中镜头变化的边界位置提取关键图像块，对于每一图像块j，计算差异特征值：

式中，Hist_j表示图像块j的强度直方图，b是强度值；

对于图像块窗口内的任何其他图像块j，满足d(k)≥d(j)，通过选择关键图像块k，如果关键图像块到图像块窗口中起始图像块的距离小于G，k＜G，将k替换G；同样，如果关键图像块到图像块窗口中最后一图像块的距离小于G，k＞w_l-G，将k替换w_l-G，选取的每个图像块窗口长度基本相似，图像块窗口中的关键图像块都代表该图像块窗口的内容。