[发明专利]一种三维视频编码的深度和彩色码率分配方法

说明书

技术领域

本发明涉及一种视频信号的编码压缩方法，尤其是涉及一种三维视频编码的深度和彩色码率分配方法。

背景技术

三维视频系统由于能够提供立体感、视点交互性的全新视觉体验而越来越受到人们的欢迎，在无线视频通信、影视娱乐、数字动漫、虚拟战场、旅游观光、远程教学等领域有着广泛的应用前景。多视点彩色加深度(multi-view video plus depth，MVD)是目前ISO/MPEG推荐采用的3D场景信息表示方式。MVD数据为在多视点彩色图像的基础上增加了对应视点的深度信息，其通过利用参考视点的彩色图像及该参考视点的彩色图像中的每个像素点对应的深度信息，采用基于深度图像的绘制(Depth Image Based Rendering，DIBR)技术来合成三维场景的虚拟视点图像。

然而，现有的三维视频编码的研究并没有充分考虑彩色视频与深度视频的最优码率分配问题，这是因为：一方面，由于彩色视频的编码失真和深度视频的编码失真都会对虚拟视点绘制产生影响；另一方面，各个视频序列都有自身的特点，不同测试视频序列的彩色视频的编码失真和深度视频的编码失真对虚拟视点绘制的影响是各不相同的。因此，如何在彩色视频与深度视频之间进行合理的码率分配，以及在总码率给定的情况下通过关系模型来确立对彩色视频和深度视频进行编码的编码量化参数，以保证获得最优的虚拟视点绘制质量，是对MVD数据的编码过程中需要研究解决的问题。

发明内容

本发明所要解决的技术问题是提供一种能够有效地提高虚拟视点视频的率失真性能，并能够简化码率分配操作过程的三维视频编码的深度和彩色码率分配方法。

本发明解决上述技术问题所采用的技术方案为：一种三维视频编码的深度和彩色码率分配方法，其特征在于包括以下步骤：

①将外部三维视频捕获工具捕获得到的未经处理的且颜色空间为YUV的彩色视频及其对应的深度视频定义为原始三维视频，在空域上该原始三维视频包括原始左视点三维视频和原始右视点三维视频，原始左视点三维视频包括原始左视点彩色视频和原始左视点深度视频，原始左视点彩色视频主要由若干个帧组的原始左视点彩色图像组成，原始左视点深度视频主要由若干个帧组的原始左视点深度图像组成，原始右视点三维视频包括原始右视点彩色视频和原始右视点深度视频，原始右视点彩色视频主要由若干个帧组的原始右视点彩色图像组成，原始右视点深度视频主要由若干个帧组的原始右视点深度图像组成，其中，YUV颜色空间的三个颜色分量的第1个分量为亮度分量并记为Y、第2个分量为第一色度分量并记为U及第3个分量为第二色度分量并记为V；

将介于左视点与右视点之间的视点作为虚拟视点；

将利用原始左视点彩色视频、原始右视点彩色视频经过编码、解码后对应得到的左视点彩色视频、右视点彩色视频与原始左视点深度视频、原始右视点深度视频经过编码、解码后对应得到的左视点深度视频、右视点深度视频进行虚拟视点绘制得到的虚拟视点视频的峰值信噪比的最大值作为最优的虚拟视点绘制质量；

②建立对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的码率分配模型，记为以保证获得最优的虚拟视点绘制质量，其中，min{}为取最小值函数，R_c表示预先设定的对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的总码率，R_t(Q_t)表示采用彩色视频量化步长Q_t对原始左视点彩色视频、原始右视点彩色视频进行编码的码率，R_d(Q_d)表示采用深度视频量化步长Q_d对原始左视点深度视频、原始右视点深度视频进行编码的码率，D_v(R_t(Q_t)，R_d(Q_d))表示采用彩色视频量化步长Q_t对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和采用深度视频量化步长Q_d对对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点绘制的绘制失真；