[发明专利]用于对视频进行比较的方法和装置

说明书

技术领域

本发明涉及一种用于对视频进行比较的方法和装置。

背景技术

在例如YouTube、Google Video和Yahoo!Video之类的视频寄存网站（video hosting website）中，可以由用户将视频内容上传到网站上，并且可以通过搜索引擎使得视频内容对于其他人可用。人们相信，当前的网络视频搜索引擎基于由用户输入的特定文字查询而提供根据其相关性分数排列的搜索结果列表。用户于是必须考虑所述结果以便找到感兴趣的一个或多个视频。

由于对于用户来说很容易把视频上传到寄存网站、获得视频并且在做出一些修改之后再次分发视频，因此在视频搜索结果中潜在地会有大量复制或接近复制的内容。基于其总体内容和主观印象，这样的复制品将被用户视为“实质上相同”。举例来说，复制视频内容可以包括具有完全相同或近似完全相同的内容的视频序列，但是该视频序列具有不同的文件格式、具有不同的编码参数并且/或者具有不同的长度。其他差异可以是光度变化，比如颜色和/或照明改变，以及/或者空间域和/或时间域内的微小编辑操作（比如添加或改动字幕、徽标和/或边框）。这些实例的意图不是穷举性列表，并且在复制视频中还可以出现其他差异类型。

复制视频的激增可能使得用户找到他或她实际想要的内容变得困难或者不方便。作为一个实例，基于来自YouTube、Google Video和Yahoo!Video的采样查询，发现在搜索结果中平均会列出超过27%的接近复制视频，其中受欢迎的视频是在结果中被复制最多的那些视频。由于搜索结果中的复制视频的高百分比，用户必须花费大量时间对其进行筛选以找到其需要的视频，并且必须反复观看其已经看过的视频的相似拷贝。复制结果会降低用户在视频搜索、获取和浏览方面的体验。此外，由于会在网络上存储及传送复制视频数据，因此这样的复制视频内容会增加网络开销。

一种视频拷贝检测技术是序列匹配。在序列匹配中，一个具有多帧的时间区间提供用于比较查询视频与目标视频的相似度的基础。这方面通常涉及从查询视频帧和目标视频帧中提取出一个特征序列，其例如可以是基于序数、运动、颜色和形心的特征。随后对所提取出的特征序列进行比较，以便确定视频之间的相似度距离。举例来说，在使用序数签名的情况下，首先把每一个视频帧划分成N1xN2个块，并且计算每一个块的平均强度。随后对于每一帧，根据其平均强度对各个块进行排列。所述排列顺序被视为该帧的序数度量。把对于一个视频的序数度量序列与另一个视频的序数度量序列进行比较，以便评估其相似度。

序列匹配使得能够确定复制视频之间的重叠位置的起始处。序列匹配方法适合于识别具有格式修改（比如编码和帧分辨率改变）以及在空间域和时间域内经过微小编辑的几乎完全相同的视频和视频拷贝。具体来说，通过使用空间和时间序数签名允许检测由于视频数字化/编码处理（例如颜色、亮度和直方图均衡化、编码参数的改变）和显示格式转换（例如转换到信箱或邮箱格式）以及部分内容的修改（例如裁边和放大）而引入的视频失真。

特别在使用序数度量时，序列匹配技术涉及相对简单的计算并且提供对于一帧的精简表示。序列匹配往往在计算上高效，并且可以实施实时计算以用于处理直播视频。举例来说，对于一帧的2x2划分的序数度量仅仅需要4个维度来表示每一帧，从而在两帧之间所需的比较点更少。

但是在帧序列发生改变的情况下，比如插入、删除或替换帧，基于序列匹配的现有技术无法检测复制视频剪辑。帧序列的改变由用户编辑引入，或者由视频寄存网站引入，以便例如在视频中插入广告。由于不可能事先假设用户修改的类型，因此缺乏检测帧序列改变的能力会限制序列匹配技术对于真实生活问题的适用性。

用于检测具有帧序列改动（比如插入、删除或替换帧）的复制视频的现有解决方案是基于关键帧匹配技术。

关键帧匹配技术通常把视频分割成用以表示视频的一系列关键帧。每一个关键帧随后被划分成各个区段，并且从显著的局部区段中提取出特征。所述特征例如可以是对应于每一个区段的颜色、纹理、角落或形状特征。关键帧匹配能够检测出经过了很大程度的编辑（比如帧的时间顺序改变或者插入/删除）的近似拷贝。但是由于在关键帧中仅存在太多局部特征，因此识别出关键帧、从每一个关键帧中提取出局部特征并且在其间实施量度距离比较以便把一个视频剪辑与数据库中的大量视频相匹配的做法的计算成本昂贵。