[发明专利]一种率失真优化动态调整的多视点视频传输差错控制方法

说明书

所属技术领域

本发明属于视频编码和处理领域，具体涉及多视点视频压缩编码过程中差错控制算法的研究。

背景技术

传统单视点视频是由单个摄像机拍摄某一场景得到的视频信号，摄像机的拍摄角度在某一时刻是固定不变的。当前各种单视点编码技术的进步虽然提高了视频图像的质量和编码效率，但仍然没有在根本上改变场景的平面描述形式。而多视点视频则是由摄像机阵列从不同角度拍摄同一场景得到的一组视频信号，与单视点视频相比，多视点视频能够获取场景的三维信息，从而更加生动地再现立体场景。可以预见，多视点视频将在影视、医疗、远程控制、虚拟现实等方面拥有广阔的应用前景。目前，多视点视频编码(Multiview Video Coding，MVC)已成为数字视频技术中一个活跃的研究领域。

目前，在MVC的编码方案研究方面已经取得了大量成果，产生了多种编码结构。其中，德国Heinrich-Hertz-Institut(HHI)提出一种在视点内和视点间方向上都引入H.264/AVC支持的分级B帧(Hierarchical B pictures)的MVC结构。由于这种结构能取得较高的编码效率，所以该结构也被MPEG选为一种MVC的主要参考结构，成为目前MVC的主流结构，获得广泛关注。其编码框架图如图1所示。

在图1中，水平方向的T₀-T₁₆为时域顺序，垂直方向的V₀-V₇为视点顺序，视点V₀也称为基本视点。处于T₀，T₈，T₁₆等时刻的帧称为关键帧(Key Picture)，其余帧称为非关键帧(Nonkey Picture)。关键帧和其后紧随的7个非关键帧构成一个图像组(Group Of Picture，GOP)。GOP的大小是可变的，可以在编码过程中根据需要进行调整。

图1的编码结构在关键帧处采用视点间预测来减少视点间的冗余，在非关键帧处采用视点间预测和时域预测来减少时域冗余和视点间冗余。这种结构充分地去掉了视点间冗余和时/空冗余，具有较高的编码效率，但编码预测关系复杂，参考帧数目也比较多，抵御传输差错能力十分脆弱。因此，在实际编码过程中，不但需要较多的缓存用于存储参考帧，而且编码的复杂度也随参考帧数目的增加而增加。为了减低编码复杂度和编码缓存的需求量，以图1结构为基础，HHI提出了一种简化的MVC预测结构KS_IPP，如图2所示。KS_IPP预测结构仅在各个视点的关键帧位置保留了视点间预测，可以在编码效率下降不大的情况下大大降低整个结构的复杂性，具有很强的实用性。虽然KS_IPP编码结构在编码效率和编码复杂度之间取的了平衡，但是这种结构依然降低了多视点视频流的传输鲁棒性，在有损的传输环境中，绝大多数非关键帧传输出错，差错都会扩散到该帧所在GOP的其它一些帧当中。更严重的是，一旦关键帧出现传输差错，差错不仅会在本视点的GOP中扩散，而且还会扩散到其后的视点中，而从影响整个多视点图像质量。

检索了与本发明相关的专利文献：

其中文献6为文献1的同族专利。

文献1(同文献6)主要解决丢包环境下编码模式选择问题，该方法通过编码端获取当前与解码端间信道的丢包系数；编码端根据丢包系数以及率失真最优方法，获取各可用编码模式对应的拉格朗日代价；编码端选择具有最小的拉格朗日代价的编码模式，作为最优的编码模式。该专利充分应用了率失真优化算法，将丢包系数和率失真优化结合应用，选择编码模式。但是该专利没有考虑丢包引起的端到端失真，也未考虑到多视点编码的结构特点，应用在多视点编码上不能取得很好的差错控制效果。

文献2提出了一种码流控制方法。该方法首先在预期的失真值附近选择失真值D。接下来，该系统利用选定的失真值D确定量化器值Q。该系统然后利用量化器值Q计算拉格朗日乘子lambda。利用选定的拉格朗日乘子lambda和量化器值Q，该系统开始对象素模块进行编码。如果系统检测到潜在的缓存区溢出，则该系统将增加拉格朗日乘子lambda。如果拉格朗日乘子lambda超过最大的lambda阈值，则系统将增加量化器值Q。如果系统检测到潜在的缓存区下溢，则系统将减小拉格朗日乘子lambda。如果拉格朗日乘子lambda降到最小的lambda阈值以下，则系统将减小量化器值Q。该方法利用拉格朗日乘子法来进行码流控制，无法用于多视点视频在有网络传输丢包环境下的差错控制。