[发明专利]一种基于联合信源信道的率失真优化的多视点视频传输差错控制方法

说明书

本发明公开了一种基于联合信源信道的率失真优化的多视点视频传输差错控制方法，包括：多视点视频编码，视频序列先进行运动视差补偿预测，然后进行编码模式选择；建立端到端失真度模型，在多视点视频序列进行运动视差补偿预测之后，采用虚拟的信道编码器建立端到端的失真度模型；联合信源信道的率失真优化编码，根据失真度模型、虚拟的信道编码器生成的信道参数集以及纠错后的信道丢包率进行联合信源信道的率失真优化，得出的最优信源参数用于编码模式的选择，得出的最优信道参数用于信道编码器的编码。本发明方法能有效地纠正信道错误，并减小传输差错在视点间的扩散，提高多视点视频流的传输鲁棒性，使其更好的适应于有损网络环境下的视频传输。

技术领域

本发明属于视频编码和处理领域，具体涉及一种基于联合信源信道的率失真优化的多视点视频传输差错控制方法。

背景技术

多视点/多视角视频压缩在3DTV、自由视点电视(Free Viewpoint TV)、虚拟现实和增强现实等领域具有广泛的应用。多视点视频序列是多个摄像机从不同角度拍摄同一场景得到的一组视频信号。相对单视点视频序列而言，由于视点数量的增加，多视点视频序列需要更大的压缩效率和更高效的传输性能。目前存在的多视点视频编码标准有Multiviewvideo coding(MVC)和Mulitivew High Efficiency Video Coding(MV-HEVC),它们分别是H.264/AVC和HEVC标准在多视角视频压缩方面的扩展。两种多视点视频标准都主要采用分级B帧预测结构，分别利用运动补偿预测和视差补偿预测来消除时域和视点间的冗余性。

目前，在MVC的编码方案研究方面已经取得了大量成果，产生了多种编码结构，适用于不同的多相机视频拍摄的装置。常见的多视点视频编码结构包括日本NTT实验室提出的GoGOP结构，德国Heinrich-Hertz-Institut(HHI)提出的KS_IPP和KS_IBP结构，以及美国三菱公司提出的基于视点合成的VS_MVC结构。这些编码结构相对于多视点联级编码而言，虽然取得较高的编码效率，但是传输过程更容易受到差错的扩散影响。在多视点视频传输过程中，由于网络时延和抖动的对信道影响，视频传输的数据容易发生丢失。由于在视频编码过程中采用了大量的复杂的补偿预测技术，产生的丢包错误将会发生蔓延和扩散。如果非关键帧发生丢包错误，错误将在视点内部沿着预测方向进行扩散；如果在关键帧发生错误，差错将在时域和相邻视点方向进行扩散。这些差错扩散如果不能得到有效地纠正和抑制，解码端的视频重建客观和主观质量将会受到严重影响。

为了提高多视点视频的传输效率，传统的多视点视频传输差错控制方法大部分直接采用单视点中提出的视频差错保护方案依次对每个视点进行鲁棒性编码。这种方法虽然能够在某种程度上提高每个视点的码流的自身容错能力，但是由于在方案设计中缺少对多视点视频编码特性以及多方向差错扩散的综合考虑，该方法往往不能较好的保护和提高多视点三维视频图像的总体重建质量。

发明内容

发明目的：鉴于现有技术的以上缺点，本发明的目的在于提出一种新颖的多视点视频传输差错控制方法，使之不仅能有效地纠正信道错误，还能够减小剩余的传输差错在视点间和视点内的扩散，保护解码重建三维图像的质量，使其更好的适应于有损网络环境下的视频传输。

技术方案：为实现上述发明目的，本发明采用以下技术方案：

一种基于联合信源信道的率失真优化的多视点视频传输差错控制方法，包括以下步骤：

(1)多视点视频编码，视频序列首先进行运动视差补偿预测，然后进行编码模式选择；

(2)建立端到端失真度模型，在多视点视频序列进行运动视差补偿预测之后，采用虚拟信道编码器的信息码元数量和校验位码元数量计算信道丢包率，进而建立端到端的失真度模型；

(3)联合信源信道的率失真优化编码，根据所述失真度模型、所述虚拟的信道编码器生成的信道参数集以及信道丢包率进行联合信源信道的率失真优化，得出的最优信源参数用于编码模式的选择，得出的最优信道参数用于信道编码器的编码。