[发明专利]基于视点合成的多视点容错编码框架

权利要求书

1.基于视点合成的多视点容错编码框架，对一个以上视点信息进行视频流传输编码，选择其中一个视点编码为基本视点，其余视点编码为增强视点；增强视点采用视点合成预测方式编码，利用基本视点的深度图，获取增强视点的视点合成预测图像，其特征在于，编码框架中引入基于分布式视频编码的差错控制帧，具体编码方法如下：对于基本视点编码

1)基本视点视频序列第1帧图像编码为I帧；

2)确定基本视点其余待编码帧是否编码为E帧；

3)基本视点的待编码帧若为E帧，则采用基于分布式视频编码的帧内编码方式，其边信息是以前一帧重建图像为参考进行运动补偿获取的帧间预测图像；

4)基本视点的待编码帧若不为E帧，则使用标准的编码方式编码，可以编码为I帧、P帧或者B帧；

对于深度图编码

采用标准的编码方式独立编码，可以编码为I帧、P帧和B帧；

对于增强视点编码

1)确定增强视点待编码帧是否编码为E帧。如果基本视点同时刻帧为E帧，增强视点当前帧编码为E帧，否则使用标准的编码方式；编码待编码帧原始图像与视点合成预测图像的残差，残差可以编码为I帧、P帧或者B帧；

2)增强视点的待编码帧若为E帧，则采用基于分布式视频编码理论的帧内编码方式，其边信息图像由预测图像叠加而成；

3)增强视点的待编码帧若不为E帧，则使用视点合成预测方式编码：首先使用基本视点同时刻重建图像和深度图像通过投影变换获取当前增强视点的视点合成预测图像；然后使用标准的编码方式编码待编码帧原始图像与视点合成预测图像的残差，残差可编码为I帧、P帧或者B帧。

2.根据权利要求1所述之基于视点合成的多视点容错编码框架，其特征在于，对于增强视点编码，增强视点的待编码帧若为E帧，采用基于分布式视频编码的帧内编码方式，即采用以下四步，

1)由差错控制帧原始图像减视点合成图像获取残差图像；

2)由残差图像和参考图像进行运动补偿得到帧间残差预测图像；

3)将帧间残差预测图像与视点合成图像的叠加图像作为差错控制帧的边信息；

4)结合边信息和传输信道参数对差错控制帧原始图像采用分布式视频编码，得到编码后的差错控制帧视频流。

3.根据权利要求1所述之基于视点合成的多视点容错编码框架，其特征在于，所述确定基本视点其余待编码帧是否编码为E帧的方法可采用每隔固定间隔插入差错控制帧，也可以根据率失真优化模型动态选择差错控制帧。