[发明专利]一种基于深度学习和图论的拷贝视频检测方法

摘要

本发明公开了一种基于深度学习和图论的拷贝视频检测方法，目的是提高图像帧相似性匹配的速度和准确性。技术方案是抽取参考库视频中的图像帧、提取图像帧特征，得到参考库视频图像帧特征矩阵；抽取待检测视频中的图像帧，提取图像帧特征，得到待检测视频图像帧特征矩阵；采用近似最近邻搜索算法对待检测视频图像帧特征矩阵和参考库视频图像帧特征矩阵进行相似性匹配，得到相似性匹配列表；采用图论的方法根据相似性匹配列表进行拷贝视频片段的判断与定位。采用本发明能够应对各种视频编辑变换及待检测视频与参考库视频之间的任意匹配形式，解决“噪声”对匹配效果影响较大的技术问题，提高图像帧相似性匹配的速度和准确性。

主权项

一种基于深度学习和图论的拷贝视频检测方法，其特征在于包括以下步骤：第一步，抽取参考库视频中的图像帧、提取图像帧特征，并将该特征存储在参考库视频数据库中，方法是：1.1抽取参考库视频中的n个图像帧，方法是：每间隔T秒从参考库视频抽取一个图像帧，共抽取出n个图像帧，得到图像帧集合为第j个T秒的时间间隔后生成的图像帧，1≤j≤n,n为参考库视频按间隔T秒共抽取的图像帧个数，T为自然数；1.2将步骤1.1获取的图像帧集合CR中的n个图像帧进行归一化，并将归一化后的n个图像帧输入到卷积神经网络模型中，将卷积神经网络模型输出的结果作为图像帧特征，得到n个图像帧特征；1.3将步骤1.2获得的n个图像帧特征按生成时间的先后顺序保存在参考库视频数据库中，参考库视频数据库存贮一张数据列表，该数据列表有n个表项，每个表项包括图像帧序号、图像帧名称、所属视频名称、图像帧特征地址四个域，图像帧特征地址记录图像帧特征的存放路径；参考库视频数据库中的n个图像帧特征组合在一起，构成参考库视频图像帧特征矩阵，该矩阵的列向量即为图像帧特征向量；第二步，抽取待检测视频中的图像帧，并提取图像帧特征，方法是：2.1每间隔T秒从待检测视频抽取一个图像帧，共抽取出m个图像帧，得到待检测视频图像帧集合为第i个T秒的时间间隔后生成的图像帧，其中1≤i≤m，2≤m≤n；2.2将步骤2.1获取的m个图像帧进行归一化，并将归一化后的m个图像帧输入到卷积神经网络模型中，将卷积神经网络模型输出的结果作为图像帧特征，得到m个图像帧特征；2.3将待检测视频图像帧集合的m个图像帧特征组合在一起，构成待检测视频图像帧特征矩阵；第三步，采用近似最近邻搜索算法对待检测视频图像帧特征矩阵和参考库视频图像帧特征矩阵进行相似性匹配，得到相似性匹配列表，方法是：3.1初始化变量p＝1，初始化相似性匹配列表，相似性匹配列表包含K个表项，每个表项包括m个域，初始化为空，这m个域用来存放与待检测视频图像帧匹配的参考库视频图像帧；K为大于0的自然数；3.2计算待检测视频图像帧特征矩阵的第p个列向量与参考库视频图像帧特征矩阵中的n个列向量的欧氏距离，将这n个欧氏距离由大到小进行排序，将排序后的第1至第K个欧氏距离对应的参考库视频图像帧特征矩阵中的K个列向量找出来，并将这K个列向量对应的参考库视频图像帧集合CR中的K个图像帧找出来，找出来的K个图像帧用表示，1≤k≤K，rkp为与待检测视频图像帧相匹配的图像帧在CR中的序号，1≤rkp≤n；3.3将相似性匹配列表的第p列元素存放3.4令p＝p+1，判断p是否小于m，若小于等于m，转步骤3.2，若p大于m，表示得到相似性匹配列表，执行第四步；第四步，采用图论的方法根据第三步得到相似性匹配列表进行拷贝视频片段的判断与定位，方法是：4.1根据相似性匹配列表构造匹配结果图，方法为：4.1.1将相似性匹配列表中的元素转换为匹配结果图G中的结点，方法为：4.1.1.1令变量p＝1；4.1.1.2将相似性匹配列表中的第p列元素分别转换成图G的节点4.1.1.3令p＝p+1，判断p是否小于m，若小于等于m，转步骤4.1.1.2，若p大于m，转换节点结束，得到图G所有节点，用集合表示为4.1.2对匹配结果图G中节点进行连边，方法是：4.1.2.1令变量p＝1，k＝1；4.1.2.2判断节点与图G中其余节点是否满足连边条件，将满足连边条件的两节点间画一连边，并将画有连边的两结点的距离设为1，将不满足连边条件的两结点的距离设为负无穷，不画连边；所述连边条件是指：对于图G中的两个节点和满足以下两个条件能够连边：一是满足时间方向的一致性，即(I1‑I2)*(J1‑J2)＞0；二是满足和的跳跃度τ为结点之间的时间跳跃度阈值，1≤I1≤m，1≤I2≤m，1≤J1≤n，1≤J2≤n且I1≠I2，J1≠J2；4.1.2.3令k＝k+1，若k小于等于K，转步骤4.1.2.2，若k大于K，转步骤4.1.2.4；4.1.2.4令p＝p+1，若p小于等于m，转步骤4.1.2.2，若p大于m，匹配结果图G构建完成，执行步骤4.2；4.2采用Floyd Warshall算法查找匹配结果图G中任意两结点之间的最长路径，得到最长路径集合L；4.3计算L中每条最长路径的长度即最长路径首节点和末节点的距离之和，则这些最长路径长度中的最大值即为图G的最大路径长度maxDist，设maxDist是节点和间的最长路径长度，1≤I3≤m，1≤I4≤m，1≤J3≤n，1≤J4≤n；4.4根据maxDist进行拷贝片段的判断与定位：如果maxDist≥λ，则判定待检测视频中的到为拷贝片段，对应的参考库视频图像帧序列为从到λ是对最大路径长度的限制阈值，λ为正整数，J3和J4是图像帧序号，在参考库视频数据库中查找到J3和J4对应的所属视频名称，得到拷贝片段的源视频片段；如果maxDist＜λ，则判断待检测视频不包含拷贝片段，即为非拷贝视频。