[发明专利]用于比较视频的方法和设备

说明书

技术领域

本发明涉及用于比较视频的方法和设备。

背景技术

在诸如YouTube、谷歌视频和雅虎视频这样的视频托管网站中，视频内容可由用户上传至网站，并通过搜索引擎由他人获得。统计显示，例如，在最受欢迎的视频分享网站之一的YouTune上，目前每天上传20亿个视频，合计每分钟上传24个小时的视频。社交网络站点的日渐流行使得用户能够更加容易获得视频，对它们进行编辑（例如，添加标识或注释），并将修改后的视频上传至相同的视频分享网站或其它网站。这可能导致在相同的网站上分享一个视频的多个相似或相同的拷贝，不方便用户寻找他或她真正想要的内容，并增加了存储和提供视频所需的资源。

基于视频的整体内容和主观印象，视频可能被用户认为是“基本上相同的”，或者是复制品。例如，重复的视频内容可以包括具有相同或者几乎相同内容的视频序列，但是这些视频序列的文件格式不同，具有不同的编码参数，并且/或者长度不同。其它的不同可以是光度差异，如颜色和/或灯光变化，和/或在空间和/或时间域中所作的细微编辑操作，例如对字幕，标识和/或边框所作的增加或修改，和/或对帧进行的尺寸调整和裁剪。这些例子不应被理解为详尽的列举，还可以产生其它类型的不同。因此，视频拷贝能够包含对原始视频的各种失真，修改和格式转换，并且仍然被认为是原始视频的复制品。

重复视频的扩散使得用户很难，或者说不方便找到他或她真正想要的内容。举例而言，基于来自YouTube、谷歌视频和雅虎视频的样本查询，发现平均而言在搜索结果中列有超过27%的相似视频，在这些搜索结果中，流行的视频被复制最多。考虑到搜索结果中包括高百分比的重复视频，用户必须花费大量时间对其进行筛选以找到他们所需要的视频，并且必须重复观看那些已经观看过的相似视频拷贝。重复的结果使得用户的视频搜索、获取和浏览体验大打折扣。此外，因为要在网络上存储和传输重复的视频数据，这些重复的视频内容增加了网络开销。

通过在视频数据库中搜索查询视频的（精确的或近似的）拷贝，基于内容的拷贝检测（CBCD）技术使基于视频内容的检索变得容易。CBCD技术的应用给用户、内容制作人或拥有人以及网络运营商带来诸多好处。例如，通过检测重复视频，视频分享网站可以减少所存储的冗余视频拷贝的数量；如果不再需要浏览相似的结果，则用户可以得到更好的视频搜索体验；版权所有人可以更容易发现对他们的视频片段的重新使用；并且内容分发网络可以引导用户访问附近的视频拷贝，该拷贝的存在可能是未知的。

视频拷贝检测的问题是检测给定的视频中是否包含与目标视频中的序列在感知上相似的序列。具体而言，假定查询视频Q和目标视频T都是一系列的视频帧，视频Q包含一系列的帧Qs，目标视频T包含一系列的帧Ts，如果Qs和Ts之间的差异性低于噪声阈值，则该系列的帧Qs是该系列的帧Ts的拷贝或者接近拷贝。这两个视频的长度不受限制。查询视频Q可以长于或短于目标视频T。

已经提出了基于对不同的视频特征进行识别，并对这些视频特征应用匹配方案，从而寻找视频拷贝的各种CBCD技术。由于视频分享网站常常包含大型数据库，从这样大型的视频数据库中找到视频的相似或相同的拷贝，并向互联网用户提供实时响应，这是一个巨大挑战。

视频拷贝检测可以分为两个步骤：生成视频特征描述符和对描述符进行匹配。

视频特征可以由全局描述符和局部（local）描述符来表示。全局描述符（包括依次的度量）是从帧的整个区域获得的。局部描述符，例如Harris描述符或尺度不变量特征变换（SIFT），可以通过将每个帧分割成多个区域并从突出的局部区域提取特征来获得。Harris描述符还被更具体地称为“Harris角落检测器”，其基于图像梯度的特征值来检测图像中的角。

举例来说，局部特征可以包括来自每个区域的颜色、纹理、角、和/或形状特征，或者其它特征，这些并非详尽列举。一般而言，全局特征描述符可以被有效地计算并压缩存储，但是相对于局部变化来说鲁棒性较低。局部特征描述符的鲁棒性更好，但是计算起来更昂贵并且需要更多的存储空间。

发明内容