[发明专利]立体视频对产生方法及装置

说明书

技术领域

本发明涉及一种多媒体通信领域，具体涉及一种立体视频对产生方法及装置。

背景技术

三维视频(3D video)序列包括多路(通常为2路)视频序列(对应于纹理信息)、对应的深度(depth)序列(对应于深度信息)，通常也被称为MVD(multi-view video plus depth)格式。三维视频序列也包含每个视点的摄像机参数等信息。三维视频通过视点合成(view synthesis)技术产生虚拟视点视频序列。传统的双目立体视频(stereoscopic video)仅由两个固定视点(即左视点和右视点)的视频序列构成，也称为一个立体视频对(stereos pair)。由双目摄像机获得的立体视频对可能存在两视图像视差过大的问题。观看这样的立体视频对会引起较严重的视觉疲劳，或者说这样的立体视频对并不适合于双目立体观看(stereoscopic viewing)。引入虚拟视点视频序列后，可以利用立体视频对中的一个视频序列和一个合成的虚拟视点视频序列构成一个更适合双目立体观看的立体视频对，这里称其为立体视频对。

虚拟视点视频序列通过视点合成(view synthesis)技术产生。视点合成采用基于深度和图像渲染(depth-image-based rendering，简称DIBR)技术，将一个摄像机视点(camera view)图像的像素通过其对应的深度值和相应的摄像机参数(例如每个视点的焦距、坐标位置等)，投影到另一虚拟视点(virtual view)上，从而生成投影图像；再通过空洞填充(hole filling)、滤波(filtering)、变采样(resampling)等处理产生最终用于显示的虚拟视点视频序列。视点合成还可以基于多个摄像机视点合成一个虚拟视点的图像，即分别将多个摄像机视点的图像投影到该虚拟视点，并把投影图像融合起来，称为视点融合(view merging)，再在融合的图像上进行空洞填充、滤波、变采样等处理，获得用于显示的虚拟视点视频序列。

一个立体视频对包括两个视频序列，即左视点视频序列(用于显示给左眼观看)和右视点视频序列(用于显示给右眼观看)。为了改善立体视频对的立体感觉，通常可以采用水平平移(shifting)立体视频对图像的方法来调节显示器上呈现的视差(parallax)范围。当左视点图像(即左视点视频序列的图你)相对于右视点图像向右平移时，负视差(negative parallax)增大，正视差(positive parallax)减小；当左视图像相对于右视图像向左平移时，负视差(negative parallax)减小，正视差(positive parallax)增大。以左视点图像相对于右视点图像向右平移N个像素为例，通常的方法有，依次将左视点图像中(从左向右)第i列像素拷贝给第i+N/2列，同时将右视点图像第i列像素拷贝给第i-N/2列；或者右视点图像保持不变，左视点图像的第i列的图像拷贝给第i+N列。将左视点图像相对于右视点图像向左平移N个像素与上述方法类似。

三维视频的视频序列和深度序列可以分别由目前的多视点视频编码标准(Multi-view video coding，简称MVC，在H.264/AVC标准Annex H中描述)来编码。MVC规定每个视点视频序列都有各自的视点序号(view order index，VOIdx，为非负整数)，用于指示该视点视频的解码次序。最小视点序号视频序列(即VOIdx＝0的视点的视频序列)最先解码，次小视点序号视频序列(即VOIdx＝1的视点的视频序列)随后第二个解码。解码端对三维视频序列码流解码后可以获得上述视点序号信息。但MVC并没有说明各视点间的相对位置关系。立体显示器由于不知道视点的位置信息，可能错误地将一个右视点图像输出给左眼观看，从而产生错误的三维感受。这些视点相对位置关系也可以传输在码流里，让解码端获取相应的信息。

另外，立体显示器(或如机顶盒等辅助设备)可以生成虚拟视点视频作为显示的立体视频对中的一个视频，从而调节视差感觉，其中立体显示器也需要知道虚拟视生成涉及的一些重要参数，例如虚拟视点位置等。因此，三维视频序列码流中还可能包含一些指导立体显示器显示立体视频对的辅助信息，包括指示左视点图像的标识、立体视频对的构成方式、虚拟视点位置、合成精度、平移像素数等。

发明内容

为克服现有技术的上述缺陷，本发明的目的在于由重建的三维视频序列及相应的显示辅助信息，为解码端的双目立体显示设备提供一个适合双目立体观看的立体视频对的方法和装置，从而改善最终三维立体显示的视觉感受。