[发明专利]3D视频中深度过渡的有效编码

说明书

技术领域

本发明涉及一种编码视频数据信号的方法，该方法包括提供图像中的像素的颜色信息，提供具有像素的深度信息的深度图（depth map），提供融合像素的过渡信息，在所述融合像素中前景对象和背景对象的颜色被融合，并生成包括表示颜色信息、深度信息和过渡信息的编码数据的视频数据信号。

本发明进一步涉及解码视频数据信号的方法、用于编码或解码的编码器、解码器和计算机程序产品、视频数据信号和数字数据载体。

背景技术

在新兴的三维（3D）视频技术中，存在用于将第三维编码进视频数据信号的多种方法。呈现3D视频的流行方法是使用一个或多个二维（2D）图像加上提供第三维信息的深度表示。该方法也允许以不同于2D图像的视点和视角来生成包括在3D图像数据中的2D图像。这种方法提供了许多优点，包括允许以相对低的复杂度来生成3D视图并提供了有效的数据表示，因此降低了例如3D视频信号的存储和通信资源需求。

当以不同的视点生成图像时，不同对象的不同深度导致对象边界的变化（shifting）而不是所应当完成的，生成新的边界。对象边界的变化可能导致不希望的降低图像质量的效果。例如，当来自离焦的前景对象的光反射与焦点对准的背景对象混合时，可能出现看起来不真实的边界。通常使用在视频数据信号的单独层中传输的α图（alpha map）来解决该问题。

该α图包括为每个像素指示其是否是前景像素、背景像素或混合像素的α值，其中在混合像素中，颜色部分地由前景对象决定且部分地由背景对象决定。该α值反映了混合率。因此这些混合像素也被称为“不确定”像素。该颜色的混合也称为融合(blending)。为了编码的目的，可以从手动分配或估计的现有数据中检索α值。典型地，α估计算法使用来自前景和背景的空间邻近的样本来为“不确定”区域中所有像素估计α的值。为便利该估计过程，首先产生所谓的三元图（trimap），为每个像素指示其是否是前景、背景或不确定的。多个空间邻近的样本取自邻近的前景和背景，以便估计前景值、背景值和不确定区域中的像素的α值。当生成新视图时，变化了的前景像素值与新背景相融合。

典型地，α图包括相对大的区域，对于前景像素使用值“1”或对背景像素使用值“0”。在这些区域之间，α值进行从“0”到“1”的快速过渡，或反之亦然。例如对于前景对象离焦的对象过渡和对于诸如头发的非常细小的对象，就是这种情况，其中使用透明用作用于处理这些对象的机制是方便的。诸如窗等较大区域上的真正的透明在自然的视频中不是非常经常发生的。α图中的空间地快速的改变使它们压缩时相当低效并增加了视频数据信号的传输成本。

发明目的

本发明的目的是提供如在开头段落中描述的编码视频数据信号的方法，该方法降低了传输成本，同时在新呈现的视图中保留了平滑的对象过渡。

发明内容

根据本方面的第一方面，该目的通过提供编码视频数据信号的方法来达到，该方法包括提供图像中的像素的颜色信息，提供具有像素的深度信息的深度图，提供表示图像中过渡区域的宽度的过渡信息，过渡区域包括深度过渡和其中前景对象和背景对象的颜色被融合的融合像素，生成包括表示颜色信息、深度图和过渡信息的编码数据的视频数据信号。

不必提供过渡区域中所有像素的α值，根据本发明的方法仅要求关于深度过渡周围的过渡区域的宽度的某些信息。如以下将被阐述的，可以以许多不同的形式来提供关于过渡区域的宽度的信息。提供关于过渡区域的宽度的信息的主要优点在于其使得不必提供每个“不确定”像素的准确的α值。当已知过渡区域的宽度时，通过创建深度过渡的位置周围的像素带来确定不确定像素。给定不确定像素的位置，可以用不同的方法来产生α值。

首先，可以使用“不确定”像素与深度过渡的距离以及该像素自身的深度（局部前景或局部背景）以产生各个像素的α值。例如，在不确定像素上线性地从局部背景中的0变化为局部前景上的1的地方可以使用α线性函数。另外，非线性轮廓（profile）当然是可能的。单独具有α值，能够通过将融合的颜色与像素扭曲于其上的背景相混合来满足新视图的粗糙的（近似的）呈现。尽管不准确，视觉上这是一种处理模糊区域的可接受方式。

其次，可以使用已知的α估计技术来生成α，其中或者按像素估计两个未知数，即：前景值和α（假设在数据流中已经有背景图）；或者，估计三个未知数，即：前景值、背景值和α。因此当确定α值时，优选地考虑形成深度过渡的前景和/或背景对象的深度值。该深度值是已经可以从深度图中获得的。