[发明专利]一种视频内容去重的处理方法

说明书

技术领域

本发明涉及多媒体通信领域，特别涉及一种视频内容去重的处理方法。

背景技术

互联网视频业务中，在视频获取、搜索、推荐时，如何识别出高相似度视频成为限制硬件资源节省、用户体验的提高。

现有的视频去重处理方法有下面几种：

（1）根据视频文件MD5值去重。为了完整性校验和版权保护，每个视频文件中都保存有一个MD5值，具有相同的MD5值的视频可以认为是同一视频。这种方法的局限性在于，只能识别出具有完全相同来源的视频，视频经过转码后MD5值就会变化，而且无法识别出内容高度相似的视频。

（2）根据视频文本元数据信息去重，最常用的是基于向量空间模型(VSM)的方法，根据视频的描述信息提取出视频的文本特征，为视频建立一个文本向量空间模型：[term,weight;.......]，term是提取出的视频文本特征tag，weight是这个tag的权重。在为每个视频建立文本向量空间模型后，计算两个向量的距离就得到了对于视频相似度的度量，计算向量距离的方法有很多，例如余弦定理、欧式距离、曼哈顿距离、汉明距离等；这种方法的计算时间复杂度为Θ(n²)，面对大量的互联网视频，计算代价太大；

（3）根据视频内容去重，视频内容并不能完全由元数据信息来衡量，视频是由一帧一帧的图像组成的，可以通过关键帧的图像匹配来计算视频的相似度，但是这种方法也存在不足，首先，这种方法的计算时间复杂度为Θ(n²)，而且单个相似度的计算量过于复杂，不具有实际工程应用性；其次，有些视频内容具有很高的相似性，但是由于拍摄期间或者后期处理等的差异性，使得关键帧不相同造成漏识别。

在已公开的专利中，申请号：201210239076.0的中国专利公开了“一种互联网资源去重的处理方法及系统”，该方法利用资源包名和资源的名字进行去重，但不适合互联网视频剔重。

发明内容

本发明的目的在于，为了克服现有的视频去重处理方法存在着上述使用的局限性，本发明提供一种视频内容去重的处理方法，该处理方法在降低计算复杂度的同时，能保障视频内容去重处理的有效性。

为实现上述目的，本发明提供一种视频内容去重的处理方法，所述的视频内容去重的处理方法包括如下步骤：

（1）根据视频的时长进行排序形成链表；

（2）在设置的窗口内，计算所述链表中的视频与待验视频的时长相似度；如所述时长相似度达到设定的阈值范围，执行步骤（3）；否则，将所述待验视频插入到所述链表中；

（3）在所述的窗口内进一步计算其他元数据相似度，所述其他元数据包括：视频标题、标签、关键词、上传时间、文件大小，并结合所述时长相似度和所述其他元数据相似度，判定所述链表中是否已存在所述的待验视频；如所述链表中不存在所述的待验视频，将所述待验视频插入到所述链表中；否则，放弃该待验视频。

作为上述技术方案的进一步改进，所述判定的方法为：

（1）对所述时长相似度和其他元数据相似度进行加权，得出总相似度；

（2）如所述总相似度达到设定的阈值范围，则所述链表中已存在所述的待验视频，否则，所述链表中不存在所述的待验视频。

作为上述技术方案的进一步改进，所述窗口的设置方法包括：静态设置和动态设置；所述静态设置按时长或数量设置窗口；所述动态设置按链表不同区间视频数目和链表视频总数目，或链表密度，或待比较的视频时长设置窗口。

作为上述技术方案的进一步改进，所述链表按所述视频的时长的粗细粒度进行排序形成多层桶结构，所述多层桶包括粗粒度桶和细粒度桶，该粗粒度桶由多个细粒度桶组成；每个粗粒度桶均按时长通过计数排序算法排序组成一个链表，所有细粒度桶按视频时长排序组成一个总链表。

本发明的一种视频内容去重的处理方法的优点在于：

1．由于视频的时长是一个区分性很高元数据，本发明只计算窗口内的待验视频的时长相似度，结合链表按所述视频的时长的粗细粒度进行计数排序形成多层桶结构，计算复杂度从Θ(n²)降低到Θ(n)；进一步结合其他元数据相似性，提高了识别率。

2．根据去重处理的需要，窗口可以动态调整，保障了视频内容去重处理的有效性。

附图说明

图1是本发明的一种视频内容去重的处理方法的流程图。

图2是本发明的一种视频内容去重的处理方法的多层桶结构示意图。

具体实施方式