[发明专利]基于视点合成的多视点容错编码框架

摘要

本发明公开了一种基于视点合成的多视点容错编码框架，对一个以上视点信息进行视频流传输编码，选择其中一个视点编码为基本视点，其余视点编码为增强视点；增强视点采用视点合成预测方式编码，利用基本视点的深度图，获取增强视点的视点合成预测图像，编码框架中引入基于分布式视频编码理论的差错控制帧。本发明充分利用分布式视频编码的传输鲁棒性特性，减小视点间合成预测引起的视点间差错扩散对多视点视频图像质量的影响，增强多视点视频流的传输鲁棒性，使其更好的适应于有损网络环境下的视频传输。

主权项

基于视点合成的多视点容错编码框架，对一个以上视点信息进行视频流传输编码，选择其中一个视点编码为基本视点，其余视点编码为增强视点；增强视点采用视点合成预测方式编码，利用基本视点的深度图，获取增强视点的视点合成预测图像，其特征在于，编码框架中引入基于分布式视频编码的差错控制帧，具体编码方法如下：对于基本视点编码1)基本视点视频序列第1帧图像编码为I帧；2)确定基本视点其余待编码帧是否编码为E帧；3)基本视点的待编码帧若为E帧，则采用基于分布式视频编码的帧内编码方式，其边信息是以前一帧重建图像为参考进行运动补偿获取的帧间预测图像；4)基本视点的待编码帧若不为E帧，则使用标准的编码方式编码，可以编码为I帧、P帧或者B帧；对于深度图编码采用标准的编码方式独立编码，可以编码为I帧、P帧和B帧；对于增强视点编码1)确定增强视点待编码帧是否编码为E帧。如果基本视点同时刻帧为E帧，增强视点当前帧编码为E帧，否则使用标准的编码方式；编码待编码帧原始图像与视点合成预测图像的残差，残差可以编码为I帧、P帧或者B帧；2)增强视点的待编码帧若为E帧，则采用基于分布式视频编码理论的帧内编码方式，其边信息图像由预测图像叠加而成；3)增强视点的待编码帧若不为E帧，则使用视点合成预测方式编码：首先使用基本视点同时刻重建图像和深度图像通过投影变换获取当前增强视点的视点合成预测图像；然后使用标准的编码方式编码待编码帧原始图像与视点合成预测图像的残差，残差可编码为I帧、P帧或者B帧。