[发明专利]一种基于深度图像绘制的立体视频编码方法

说明书

技术领域

本发明涉及一种视频信号的编码压缩方法，尤其是涉及一种基于深度图像绘制的立体视频编码方法。

背景技术

进入本世纪以来，随着数字2D(二维)视频技术日趋成熟，以及计算机、通信及网络技术的快速发展，引发了人们对新一代视频系统的强烈需求。现行的二维视频系统在表现自然场景时，难以满足用户的立体感和视点交互等的需求。(立体)三维视频系统由于能够提供立体感、视点交互性的全新视觉体验而越来越受到人们的欢迎，因此在无线视频通信、影视娱乐、数字动漫、虚拟战场、旅游观光、远程教学等领域有着广泛的应用前景。与单通道视频相比，立体视频要处理至少翻一倍的数据量，因此在不影响立体视频主观质量的前提下，尽可能地降低立体视频的编码码率是一个亟需解决的问题。目前，已有基于视点合成预测(view synthesis prediction)、右视点下采样(down sampling)的方法对立体视频的右视点视频进行编码，以降低立体视频的编码码率。

然而，现有的立体/多视点视频编码的研究并没有充分利用立体视频的冗余信息，这是因为：一方面，由于深度是用来表征场景几何的负载信息，左右视点的相关性(冗余信息)可以通过基于深度图像的绘制来反映(消除)；另一方面，由于深度估计的不精确，绘制得到的右视点图像与真实图像之间会存在几何失真，并且会在绘制得到的右视点图像中产生新的空洞，严重影响了右视点图像的质量，因此，如何通过基于深度图像的绘制来降低右视点图像的传输码率并保持较高的右视点图像重构质量，都是立体视频数据的编码过程中需要研究解决的问题。

发明内容

本发明所要解决的技术问题是提供一种基于深度图像绘制的立体视频编码方法，其能够充分地消除立体视频的冗余信息，且能够有效地提高立体视频的编码效率。

本发明解决上述技术问题所采用的技术方案为：一种基于深度图像绘制的立体视频编码方法，其特征在于包括以下步骤：

①将外部立体视频捕获工具捕获得到的未经处理的且颜色空间为YUV的彩色立体视频及其对应的深度立体视频定义为原始三维立体视频，在空域上该原始三维立体视频包括原始左视点三维视频和原始右视点三维视频，原始左视点三维视频包括原始左视点彩色视频和原始左视点深度视频，原始左视点彩色视频主要由若干个帧组的原始左视点彩色图像组成，原始左视点深度视频主要由若干个帧组的原始左视点深度图像组成，原始右视点三维视频包括原始右视点彩色视频和原始右视点深度视频，原始右视点彩色视频主要由若干个帧组的原始右视点彩色图像组成，原始右视点深度视频主要由若干个帧组的原始右视点深度图像组成；

②将t时刻的原始左视点彩色图像记为将t时刻的原始左视点深度图像记为将t时刻的原始右视点彩色图像记为将t时刻的原始右视点深度图像记为其中，i＝1，2，3分别表示YUV颜色空间的三个分量，YUV颜色空间的第1个分量为亮度分量并记为Y、第2个分量为第一色度分量并记为U及第3个分量为第二色度分量并记为V，(x，y)表示彩色图像或深度图像中像素点的坐标位置，1≤x≤W，1≤y≤H，W表示彩色图像或深度图像的宽度，H表示彩色图像或深度图像的高度，表示t时刻的原始左视点彩色图像中坐标位置为(x，y)的像素点的第i个分量的值，表示t时刻的原始左视点深度图像中坐标位置为(x，y)的像素点的深度值，表示t时刻的原始右视点彩色图像中坐标位置为(x，y)的像素点的第i个分量的值，表示t时刻的原始右视点深度图像中坐标位置为(x，y)的像素点的深度值；

③采用基于深度图像绘制的方法，将t时刻的原始左视点彩色图像从左视点投影到右视点，得到t时刻的原始右视点彩色图像的绘制图像，记为其中，表示t时刻的原始右视点彩色图像的绘制图像中坐标位置为(x，y)的像素点的第i个分量的值；