[发明专利]基于视点合成的多视点容错编码框架

说明书

技术领域

本发明属于视频编码和处理领域，具体涉及多视点视频压缩编码过程中差错控制算法的研究。

背景技术

多视点视频是由摄像机阵列从不同角度拍摄同一场景得到的一组视频信号，与单视点视频相比，多视点视频能够获取场景的三维信息，从而更加生动地再现立体场景。在现有的多视点编码方案中，基于视点合成的多视点编码方案充分利用了多视点视频数据的相关性以及隐含的关于场景的三维信息，提供了一种高效灵活、视点伸缩性强的多视点编码思想，受到了国内学者越来越广泛的关注。

现有的基于视点合成的多视点编码框架，主要以研究如何提高编码效率、同时提供随机访问性强的多视点视频流为主，如图1所示。此编码框架结构将多个视点分为了一个基本视点、多个增强视点，以及基本视点的深度图像。基本视点图像和基本视点深度图像均采用标准的单视点编码方法独立编码，如图1中的基本视点V1和基本视点深度图D。增强视点采用视点合成预测方式编码，编码实际内容为增强层原始图像与视点合成预测图像的残差，残差使用标准的编码方式编码。其中视点合成预测图像是由基本视点同时刻重建图像和深度图像通过投影变换获得，如图1中的增强视点V0和V2。

此编码结构通过视点合成预测技术很好的利用了多视点隐含的深度信息，极大的提高了增强视点的编码性能，同时提供了增强视点的随机访问能力。但是视点合成预测技术的使用在一定程度上牺牲了多视点视频流的传输鲁棒性。在有损的网络传输环境中，一旦基本视点出现传输差错，差错会通过视点合成预测编码扩散到每个增强视点中，而从降低整个多视点图像质量。

鉴于现有技术的以上缺点，本发明的目的是提出一种基于视点合成的多视点容错编码框架，使之克服现有技术的以上缺点，增强多视点视频流的传输鲁棒性，使其更好的适应于有损网络环境下的视频传输。本发明的目的是通过以下的手段实现的。

基于视点合成的多视点容错编码框架，对一个以上视点信息进行视频流传输编码，选择其中一个视点编码为基本视点，其余视点编码为增强视点；增强视点采用视点合成预测方式编码，利用基本视点的深度图，获取增强视点的视点合成预测图像，编码框架中引入基于分布式视频编码的差错控制帧，具体编码方法如下：

(帧内编码帧，记为I帧；帧间编码帧，记为P帧；双向帧间预测帧，记为B帧；差错控制帧，记为E帧)

对于基本视点编码

1)基本视点视频序列第1帧图像编码为I帧；

2)确定基本视点其余待编码帧是否编码为E帧；

3)基本视点的待编码帧若为E帧，则采用基于分布式视频编码的帧内编码方式，其边信息是以前一帧重建图像为参考进行运动补偿获取的帧间预测图像；

4)基本视点的待编码帧若不为E帧，则使用标准的编码方式编码，可以编码为I帧、P帧或者B帧；

对于深度图编码

采用标准的编码方式独立编码，可以编码为I帧、P帧和B帧；对于增强视点编码

1)确定增强视点待编码帧是否编码为E帧。如果基本视点同时刻帧为E帧，增强视点当前帧编码为E帧，否则使用标准的编码方式编码；待编码帧原始图像与视点合成预测图像的残差，残差可以编码为I帧、P帧或者B帧；

2)增强视点的待编码帧若为E帧，则采用基于分布式视频编码理论的帧内编码方式，其边信息图像由预测图像叠加而成；

3)增强视点的待编码帧若不为E帧，则使用视点合成预测方式编码：首先使用基本视点同时刻重建图像和深度图像通过投影变换获取当前增强视点的视点合成预测图像；然后使用标准的编码方式编码待编码帧原始图像与视点合成预测图像的残差，残差可编码为I帧、P帧或者B帧。

所述具体的分布式视频编码方式有多种方法，可以采用基于SW理论的无损编码，也可以采用基于WZ理论的有损编码。

采用本发明基于视点合成的多视点容错编码框架，通过在基于视点合成的多视点视频编码框架中引入基于分布式视频编码理论的差错控制帧，比标准的帧内编码具有更好的编码效率；同时抗差错性能强，即使边信息(与标准视频编码中的参考信息类似)出现传输差错，它仍然能够正确解码，从而增强了多视点视频流的传输鲁棒性，充分利用分布式视频编码的传输鲁棒性特性，减小视点间合成预测引起的视点间差错扩散对多视点视频图像质量的影响，增强多视点视频流的传输鲁棒性，使其更好的适应于有损网络环境下的视频传输。

附图说明如下：

图1是现有技术基于视点合成的多视点编码框架图。

图2是本发明基于视点合成的多视点容错编码框架图。

图3是本发明基于视点合成的多视点容错编码框架中增强层差错控制帧的编码示意图。