[发明专利]视频深度图对准

说明书

技术领域

本发明涉及视频深度图对准。更加具体地讲，本发明涉及一种用于通过编辑或其它处理产生从初级视频序列中得出的次级视频序列的深度图的方法和系统。

背景技术

产生视频序列(比如运动图像或任何其它图像序列)的深度图是公知的，该深度图提供使二维(2D)图像能够得被转换为三维(3D)图像的深度信息。

例如，美国专利US 6377257(IBM)公开了一种用于生成和在计算机网络上传递合成内容的图像的系统，所述合成内容包含三维几何模型。该系统使用服务器计算机和客户计算机，并且视频流可以包含用于服务器所呈现的对象的与时间有关的深度图。视频序列被从该服务器发送到该客户机进行本地呈现，如果该客户机不具备3D能力，则不传送该深度图。

在一些应用中，视频序列可能在客户机中已经是可用的，并且深度图可能在以后被添加。当用户拥有二维运动图像的录制版本并且想要增加深度以获得三维运动图像时，可能是这种情况。运动图像的录制版本可以例如被存储在DVD(数字通用光盘)上、在硬盘式摄像机上或者在计算机系统的硬盘上。应该可以从(远程)服务器中获得与运动图像相关联的深度图。不过，录制版本通常与原始版本不相同。录制版本可以例如是从电视中录制的。与原始版本不同，运动图像的电视版本可能包含广告，同时某些暴力镜头可能已经被删除。此外，录制时间可能与电视播出的持续时间不完全一致，并且用户可能已经编辑过她的版本。出于这些原因，可从服务器得到的深度图通常会与录制的视频序列并不匹配，这导致不希望有的深度失配。

当然，也可能从服务器获得视频序列的原始版本(就是说，与深度图匹配的版本)并且对初级的(原始的)与次级的(修改过的)视频序列进行对准，以便为深度图获得正确的对准。不过，传送原始的或修改过的视频序列都需要相对较大的带宽，同时大量信息是重复的，因为服务器处的大部分原始视频序列与客户机处的修改过的(例如经过编辑的)视频序列是相同的。

发明内容

本发明的一个目的是克服现有技术的这些和其它问题并且提供一种用于产生次级视频序列的深度图的方法和系统，所述次级视频序列是从原始或初级视频序列得出的，所述方法和系统避免了初级或次级视频序列的传送，同时提供了深度图与次级视频序列之间的优良匹配。

因此，本发明提供了一种用于产生次级视频序列的次级深度图的方法，其中次级视频序列从具有初级深度图的初级视频序列得出，其中次级视频序列在客户机处是可用的并且其中初级深度图在服务器处是可用的，所述客户机和服务器通过网络被连接，该方法包括下列步骤：

从服务器向客户机传送初级深度图，

在客户机处，将初级深度图与次级视频序列对准，以便产生对准信息，和

在客户机处，使用所述对准信息从初级深度图得出次级深度图。

通过在客户机处将初级深度图与次级深度图对准以产生对准信息并且基于初级深度图和所述对准信息得出次级深度图，不用传送初级视频序列就可以获得次级深度图。次级深度图通常将与次级视频序列完美地对准，因此完全补足了次级视频序列而不引入任何伪影。通过仅仅传送初级深度图(加上除初级视频序列以外的任何可选的附加数据)，极大地节约了带宽。

初级深度图与次级视频序列的对准包括将深度图的图像与视频序列的图像进行匹配，以便产生表示各图像的对应关系的对准信息。所述对应关系可以通过使用应用于单个图像或者应用于这些图像的特征的相似度度量(比如互相关)来确定。对准信息可以例如表示(初级)深度图的哪个图像与(次级)视频序列的图像相对应，例如通过列出相关图像编号来表明。取代于图像号码，可以使用其它的指示符或标记，比如从某一点开始的持续时间、时间标记等。

使用对准信息从初级深度图中得出次级深度图的步骤可以例如包括使用包含在对准信息中的任何图像编号或其它指示符来从初级深度图中选择对应的段并且将所选择的段编辑成与次级视频序列对应的次级深度图。

在客户机处将初级深度图与次级视频序列对准的步骤可以包括：

从次级视频序列中提取特征，

从初级深度图中提取特征，和

对所提取的特征进行匹配。

通过从次级视频序列和初级深度图二者中提取特征，能够实现相对简单的对准。所提取的特征可以包括镜头切换(即，场景变化)、颜色和/或亮度统计结果(比如亮度直方图)、边缘图像等。匹配步骤可以包括相似度度量，比如互相关、距离等等。

在一种可替换的实施方式中，将初级深度图与次级视频序列对准的步骤可以包括：

从次级视频序列中得出初步的次级深度图，和

对初步的次级深度图和初级深度图进行匹配。