[发明专利]彩色与深度视频联合编码的比特分配及码率控制算法

说明书

技术领域

本发明属于3D视频编码领域，涉及一种彩色加深度视频的联合比特分配及码率控制方法。

技术背景

三维(3D)视频是对立体视觉场景的一种再现，可以使观察者体验到自然逼真的3D场景。基于深度感知、交互性等的特点，3D视频在许多领域都有着广泛的应用，如3D电视(3DTV)、自由视点电视(FTV)、可视会议等。为了促进这些应用，研究者们正在研究包括3D视频的采集、表示、编码、传输、虚拟视点绘制和显示等与3D视频相关的关键技术。

实际应用中的3D视频通常需要包含不同角度的多个视点的信息，多视点增加了存储空间和传输带宽的需求。为了解决这个问题，许多场景表示和视点绘制技术被相继提出。基于深度图的虚拟视点绘制(Depth Image-Based Rendering，DIBR)是一种灵活的、低代价的虚拟视点绘制技术。在DIBR中，虚拟视点可以通过彩色视频及与其对应的深度视频来绘制，它利用3D变换技术，可以根据需要绘制不同位置上的虚拟视点。经虚拟视点绘制技术获得的虚拟视点的质量会受到多方面因素影响，包括彩色视频和深度视频的压缩效率及虚拟视点绘制算法。此外，当彩色视频和深度视频编码的总比特率受到限制时，彩色视频和深度视频之间的比特分配对绘制的虚拟视点的质量也具有重要的影响。

为了尽量减少绘制视点的失真，研究者们提出不同的彩色视频和深度视频之间比特分配方法。Liu等提出了一种联合码率控制算法，该算法分为三个层，即视点层，彩色/深度层和帧层。视点层通过预编码来统计各类视点之间的比特进而得到最佳视点间的比特分配比；在彩色/深度层，为确保3D视频的质量，比特被非均匀的分配在彩色与深度视频中；帧层采用分层码率控制算法为每帧分配目标比特。Shao等提出了一种虚拟视点失真模型。该模型将合成视点失真表示为彩色视频的失真和深度视频的失真两部分。然后，两个失真基于二次失真模型分别建模。最后，在总比特限制下最小化绘制视点的失真，计算得到彩色与深度视频的最优比特分配方案。Yuan等推导了一个通用的虚拟视点失真模型，该模型包含彩色视频的失真、深度视频的失真及常数部分。然后，两个失真部分由线性失真模型分别建模。最后，在总比特限制下通过最小化绘制视点的失真，计算得到彩色与深度视频的最优比特分配方法。

现有的比特分配能够得到较为准确的比特分配方案，然而这些方案需要考虑编码的同步性，且不能直接应用在H.264/AVC的码率控制中。

发明内容

为了克服现有技术的不足，解决JVT-G012中码率控制与彩色深度视频之间比特分配不兼容的问题，同时更加准确的实现彩色/深度层及帧层的联合码率控制，为此，本发明采取的技术方案是，彩色与深度视频联合编码的比特分配及码率控制算法，包括如下步骤：

1)建立虚拟视点失真模型：

在不同的给定目标比特R_T下预编码彩色视频及与之对应的深度视频，并采用虚拟视点绘制方法绘制虚拟视点；统计虚拟视点失真D_v，深度视频失真D_d与彩色视频失真D_t，建立模型，拟合模型参数，具体虚拟视点失真模型表示为：

D_v＝A·D_t+B·D_d+C₀

其中，A、B分别代表D_t和D_d对虚拟视点失真D_v的影响因子，C₀是一个常数；

2)建立彩色及深度视频的失真模型D_t-R_t和D_d-R_d：

统计彩色视频/深度视频编码失真，输出比特率及对应的目标比特率，建立模型。

3)建立D_v-R_t-R_t模型：

统计虚拟视点失真D_v，深度视频目标比特R_d与彩色视频目标比特R_t，并建立模型。由步骤1)和2)可以推导出D_v-R_t-R_t，具体表示为：

其中，μ，ν分别代表R_t和R_d在虚拟视点的失真D_v的影响因子，C是一个常数；

4)计算当前编码视频的目标比特：