[发明专利]采用深度传播技术的3DV系统视点间深度图生成方法

说明书

技术领域

本发明涉及一种3DV（三维视频）系统视点间深度图生成方法，属于视频编解码、多媒体信号处理技术领域。

背景技术

如今，3D视频在电影行业和消费电子行业有着越来越广泛的应用。得益于3D显示技术的发展，多视点显示技术也逐渐发展并且提高了用户的视觉体验。然而，多视点显示带来的数据量的增加使三维视频（3DV）系统中多视点视频数据的压缩、存储和传输面临一个挑战。

3DV系统中普遍采用的数据格式是多视点视频加深度（MVD）格式，它包括了多视点的纹理视图和相对应的深度视图。这种基于深度的数据格式包含深度信息作为输入信息的一部分，利用DIBR技术来产生中间视图，能够更好的解决空洞问题并且能够提供更好的立体兼容性。然而，MVD带来的数据量增大问题使MVD数据格式的有效压缩变得非常重要。

近年来，对3DV系统的多视点数据的压缩技术现在正在进行紧张的研究中，相关的编码技术的标准化也在被评估中。以今年来不断进行标准化的3D-HEVC标准提案为例，纹理视图独立于深度视图进行编码以用来支持立体兼容性。其中对深度图采用了视频编码中用到的视点内预测、运动补偿预测，视差补偿预测，变换域编码等方法，在此基础上也进行了一些修改。然而，深度视图无论采用现有的何种方法进行编码，都需要在发送端对每一个视点的深度图进行编码，占用发送端的编码资源。另外，现有的深度编码方式都会产生需要传输的编码信息，占用传输带宽。比如，视点内预测、运动补偿预测、视差补偿预测、变换域编码方式会产生运动向量、视差向量和残差等信息。利用深度建模编码，需要传输模式等信息。这些信息都需要在编码端通过计算产生并且占用传输带宽。

深度传播源于2D转3D技术中的深度估计。2D转3D根据人工参与的多少可以被分为3类：手动，全自动和半自动2D转3D。其中，半自动的方法因为利用较少的人工参与获得好的深度图获得了大家的青睐，在这种系统中用户参与和3D转换效果得到了平衡。在半自动的2D到3D的转换中，利用已有的深度信息来生成整个视频序列的深度图的方法被称为深度传播。深度传播的方法是指事先获得关键帧的深度图，然后利用关键帧和非关键帧的相关性来计算出非关键帧的深度图。同样是利用两幅图像的相关性，根据视点间的相关性也可以利用深度传播技术获得视点的深度图。

发明内容

本发明针对当前3DV系统传播深度数据冗余大，占用编码资源等缺点，提出了一种利用视点间深度传播技术的视点间深度图生成的方法，用于系统解码端。本发明使现有的3DV系统仅仅需要编码并传输纹理图和两个视点的深度图，就能够在解码端获得与采用常用深度图编码方法质量相当的多视点的深度数据，节省了传输带宽和发送端的编码资源。

本发明根据双向的视点间深度传播原理，将3DV系统视点间深度图的生成方法分解为基于自适应可重叠块的视差补偿和建立并求解优化方程对未视差补偿的像素点进行深度分配两个部分。本发明采用的技术方案为：

一种3DV系统视点间深度图生成方法，利用深度传播，由一部分视点的深度图获得另一部分视点的深度图，其特征在于：在系统编码端不需要对每一个视点的纹理图和深度图均进行编码并发送，而是仅需要编码并传输纹理图和两个视点的深度图，在系统解码端根据视点间的相关性，获得其它视点的深度图，具体步骤如下：

（1）自适应可重叠块的视差补偿：取3DV系统MVD格式多视点数据中的2个视点作为关键视点，则其他视点为非关键视点，利用非关键视点的纹理图对2个关键视点的纹理图进行双向可重叠块视差估计，然后，根据视差向量对非关键视点的代表像素进行自适应可重叠块的视差补偿，自适应是指对估计出的视差向量按照估计准确程度分为3级，从1到3级估计准确程度越来越小，把前两级视差补偿的像素点作为代表像素并进行不同方式的视差补偿，第1级直接进行视差补偿，第2级根据权值矩阵进行可重叠块的视差补偿，第3级不进行视差补偿；

（2）建立并求解优化方程对未视差补偿的像素点进行深度分配：对于剩余的未进行视差补偿的像素，根据亮度深度一致性原理建立有约束的优化方程，优化问题被建模为当前像素与邻域窗口像素的加权深度值差异最小化问题，约束条件为非关键视点已经进行了视差补偿的代表像素的深度值，求解后求得未视差补偿的像素点的深度值，即获得整个深度图的深度值。

优选地，通过绝对误差和SAD值计算估计出的视差向量的估计准确程度。

优选地，进行双向视差估计时，根据绝对误差和SAD选择前向和后向视差向量。