[发明专利]具有深度信息的视频信号

说明书

技术领域

本发明涉及具有深度信息的视频信号。本发明还涉及用于产生具有深度信息的视频信号以及再现具有深度信息的视频信号的方法和系统。

背景技术

自从出现显示设备以来，真实感3-D显示设备成为许多人的梦想。已经研究了应当导致这种显示设备的许多原理。一种这样的原理是仅基于双眼视差的3-D显示设备。在这些系统中，观察者的左右眼感知到不同视角，并且因而观察者感知到3-D图像。这些概念的综述可以见诸D.F.McAllister(编者)的著作“Stereo Computer Graphics and Other True 3-D Technologies”Princeton University Press，1993。例如，快门式眼镜可以与例如CRT结合使用。如果奇数帧被显示，那么遮挡左眼的光，并且如果偶数帧被显示，那么遮挡右眼的光。

无需诸如眼镜之类的附加器具而显示3-D的显示设备称为自动立体显示设备。例如，提出了多视图自动立体显示设备。在US6064424公开的显示设备中，使用了倾斜的双凸透镜，其中双凸透镜的宽度大于两个子像素。通过这种方式，存在彼此紧邻的若干图像并且观察者可以有些自由地移向左右。其他类型的自动立体显示设备在本领域中是已知的。

为了在多视图显示设备上产生3-D印象，必须再现来自不同虚拟视点的图像。这要求存在多幅输入视图或者一些3D或深度信息。该深度信息可以被记录、从多视图相机系统产生或者从常规2D视频材料产生。为了从2D视频产生深度信息，可以应用若干类型的深度线索：例如从运动获得的结构、聚焦信息、几何形状以及动态遮挡。优选地，产生稠密深度图，即每像素一个深度值。该深度图随后用于再现多视图图像以便给予观察者深度印象。

现有的视频连接被设计成交换图像序列。典型地，图像由所述连接两侧(即发送器和接收器)的二维像素值矩阵表示。这些像素值与亮度和/或颜色值相应。发送器和接收器都知道数据的语义，即它们共享相同的信息模型。典型地，发送器与接收器之间的连接适应该信息模型。这种数据交换的一个实例是RGB链接。发送器和接收器中的图像数据以包括三元组的值(R(红色)，G(绿色)和B(蓝色))的数据格式存储和处理，这些值一起形成不同的像素值。图像数据的交换借助于三个相关但分离的数据流执行。这些数据流借助于三个通道传输。第一通道交换红色值，即代表红色值的比特序列，第二通道交换蓝色值并且第三通道交换绿色值。尽管三元组的值典型地串行交换，但是信息模型使得预定数量的三元组一起形成图像，这意味着这些三元组具有各自的空间坐标。这些空间坐标与三元组在代表图像的二维矩阵中的位置相应。基于这种RGB链接的标准的实例是DVI(数字视频接口)、HDMI(高清晰度多媒体接口)以及LVDS(低压差分信令)。然而，在3-D的情况下，深度相关数据也必须与视频数据一起交换。

WO2006/137000A1公开了一种图像数据以及与图像数据有关的另外的数据(例如深度数据)的组合交换的方法，图像数据由图像数据元素的第一二维矩阵表示，并且所述另外的数据由另外的数据元素的第二二维矩阵表示。该方法包括将第一二维矩阵和第二二维矩阵组合成数据元素的组合二维矩阵。然而，上面的方法在提供的信息方面在一定程度上是受限的，并且不能提供用于精确再现的足够信息。

发明内容

有利的是具有改进的交换图像数据的方式。为了更好地解决该关注的问题，在本发明的第一方面中，给出了一种用于产生代表初级视图的三维场景的信号的系统，该系统包括：

序列生成器，其用于生成限定初级视图的三维场景的表示的至少一部分的条纹序列，每个条纹代表图像信息矩形，该图像信息包含限定矩形区域的颜色、深度和位置的数据元素，其中每个条纹的颜色和深度数据元素从场景中至少一个对象的表面轮廓信息导出；位置数据元素从初级视图内所述至少一个对象的表面轮廓信息的位置导出，并且条纹序列的至少一个条纹代表选自场景中所述至少一个对象的被遮挡区域或侧面区域的所述至少一个对象的表面轮廓信息；以及

信号生成器，其用于生成包含所述条纹序列的视频信号。

每个条纹与初级视图内的图像信息的矩形区域相应，从而一个条纹可以与单个像素、线形式的一维像素阵列或者二维像素阵列相应。因此，尽管条纹与图像信息的矩形区域相应，但是由于包含深度元素，条纹代表的实际数据可以描述三维结构。