[发明专利]一种用于三维立体电视的深度视频压缩的上采样方法

说明书

技术领域

本发明涉及一种用于三维立体电视的深度视频压缩的上采样方法，属于视频编码领域。

背景技术

三维立体电视是新一代的交互式媒体服务，给用户带来全新的观看体验：用户可以自由地选择观看的视点并且随时在不同视点间进行切换；可以在不佩戴眼镜的情况下获得三维的场景体验和感受。同传统二维电视相比，在视觉效果和用户交互性上的巨大优势，使得三维立体电视成为研究的热点，迅速发展和普及，将成为继数字电视后广播网络和宽带网络上新一代交互式媒体的重要应用。

目前一种通用的三维立体电视传输技术为“视频+深度”技术：传输一路表达纹理的彩色视频，并且传输一路与其对应的深度视频来表达彩色视频中每个像素点的纵向深度信息。其中彩色视频为传统的彩色视频；深度视频是与彩色视频“像素-像素”对应的，且每个像素的值在0～255范围内的灰度视频。

和传统视频压缩编码相比，“视频+深度”技术需要多传输一路深度视频，因此相对传统视频压缩编码，三维立体视频需要对深度视频的高效率压缩。深度视频的作用是给出每个像素点的深度信息，因此深度视频具有会对三维视觉效果造成影响的两个要求：1)深度图中的物体要求有清晰地边缘，来保证物体边缘的深度信息正确；2)一个物体内部，局部具有相同的深度值，否则在合成立体效果的时候，会产生一些噪点。在深度视频压缩的过程中，应该尽量保证上述两点，这样才能保证良好的三维效果。此外，深度视频相对传统视频，纹理信息少，因此可以压缩至比较小的码率。

目前，很多编码方案使用传统的视频压缩方法对深度视频进行压缩，然而这些方法不能很好的保证深度视频的两个特殊的质量要求。目前较多研究的压缩方式是通过降低深度视频分辨率的方式对其进行压缩：首先对其进行下采样降低分辨率，之后进行编码压缩，然后再解码之后对其进行上采样恢复原分辨率。由于深度视频的纹理信息较少，因此只要有较好的上采样方法，深度图的质量不会受到很大的影响。这个过程的关键实在上采样的过程中，大部分研究使用传统的上采样方法，但是由于其忽略了深度视频和彩色视频的对应关系，从而恢复边缘的时候不能得到准确的边缘值，且一定程度上破坏了深度图局部一致的特性。有部分研究探究了使用彩色视频指导深度视频上采样的方法，然而，这些方法基于一些特定的下采样方法，且没有进一步考虑保证深度图的局部一致性。

发明内容

本发明的目的是提出一种用于三维立体电视的深度视频压缩的上采样方法，以应对多种下采样方法产生的低分辨率深度视频，既可应对效果好却复杂度高的SVC下采样，也可处理简单但是却粗糙的下采样方法，而且提高重构的深度视频质量。

本发明提出的用于三维立体电视的深度视频压缩的上采样方法，包括以下步骤：

(1)将大小等于原始深度图的待重构深度图分割成为多个上采样单元，上采样单元的像素等于α×α，α为下采样率，α取值范围为：2～6；

(2)对上述上采样单元中的像素点划分为已知像素点和未知像素点，使上采样单元中左上角的像素点为已知像素点，其余像素点为未知像素点；

(3)对上述已知像素点使用与下采样方法相对应的上采样方法计算，得到该已知像素点的深度值；对未知像素点的深度值的计算方法为：由该未知像素点所在的上采样单元的已知像素点的深度值与相邻的右方、下方和右下方的上采样单元的已知像素点的深度值由下式加权平均得到：

其中，已知像素点[i]表示第i个像素点，i是范围为1～4，而已知像素点[1]为该未知像素点所在上采样单元的已知像素点，而已知像素点[2]、已知像素点[3]和已知像素点[4]分别为该未知像素点的右方、下方和右下方的上采样单元的已知像素点。而权重[i]为已知像素点[i]对应的权重。

权重为归一化后的相似度，定义如下：

颜色差[i]＝|已知像素点[i]的颜色值-未知像素点(x，y)的颜色值|

距离[i]＝|未知像素点的行位置-已知像素点[i]的行位置|

       +|未知像素点的列位置-已知像素点[i]的列位置|

(4)根据上述各上采样单元中各像素点的深度值，得到一个初始重构深度图；

(5)对上述初始重构深度图进行局部平滑处理，得到重构深度图，平滑处理公式如下：

其中，d_l是像素点(x，y)和像素点(x-1，y)的深度值之差的绝对值，d_r是像素点(x，y)和像素点(x+1，y)的深度值之差的绝对值，β为平滑阈值，β的范围分为：2～6。