[发明专利]一种利用深度信息的多通道视频流编码方法

权利要求书

1.一种利用深度信息的多通道视频流编码方法，其特征在于将编码器设置成通道选择单元、深度产生单元、图像渲染单元和预测编码单元四个功能单元，对输入的多通道视频流，按以下步骤进行编码：

1)由所述的通道选择单元选出主通道和辅通道；

2)由所述的深度产生单元根据主通道图像帧和同主通道邻近的辅通道的同一时刻的图像帧产生主通道图像帧的深度图；

3)由所述的图像渲染单元根据邻近的主通道图像帧和深度图，采用基于深度图像渲染方法产生辅通道同一时刻的关键帧的预测图；

4)由所述的预测编码单元对主通道视频流图像帧和深度图、辅通道关键帧的遮挡图和非关键帧按照视频编码标准方法进行压缩编码，输出编码后的压缩码流，视频编码标准方法包括视频编码国际标准MPEG-X、H.26X和视频编码国家标准AVS；

所述的通道选择单元，在单个通道组内，对于辅通道视频流，其关键帧位置对应的主通道位置，存在深度图；若同一时刻主通道图像帧不存在深度图，则该时刻所有辅通道的图像帧都为非关键帧；

所述的预测编码单元，对于主通道视频流，按照视频编码标准方法进行压缩编码；对于主通道深度图，利用该深度图对应的主通道图像帧的运动信息来预测该深度图的运动信息，按照视频编码标准方法进行压缩编码；对于辅通道视频流，将关键帧和其预测图作差，产生关键帧的遮挡图，对遮挡图，按照视频编码标准方法进行压缩编码；对于辅通道视频流，将重建的关键帧作为参考帧，对图像组内的非关键帧采用层次化的B帧预测结构，按照视频编码标准方法进行压缩编码。

2.如权利要求1所述的一种利用深度信息的多通道视频流编码方法，其特征在于所述通道选择单元的待编码的多个通道对应的摄像机，呈一维或者二维排列，其光轴垂直于公共平面或者会聚于拍摄场景。

3.如权利要求1所述的一种利用深度信息的多通道视频流编码方法，其特征在于所述的通道选择单元，根据摄像机参数和通道与通道之间的距离，来度量不同通道同一时刻的图像帧在空间域上的相关性，选出一个或者多个主通道，把余下的通道作为辅通道；将一个主通道和多个辅通道组成一个通道组，根据不同通道的图像帧在空间域上的相关性，将输入的多个通道分成一个或者多个通道组。

4.如权利要求1所述的一种利用深度信息的多通道视频流编码方法，其特征在于所述的通道选择单元，对于主通道视频流，将多个图像帧组成一个图像组，对于每个图像组，把其中的一个图像帧作为关键帧，把其余的图像帧作为非关键帧，对图像组采用层次化的B帧预测结构；对于主通道视频流，其深度图周期可变，满足1≤P_D≤L_MG，且P_D能够被L_MG整除，P_D为正整数，其中P_D为主通道的深度图周期，L_MG为主通道的图像组长度。

5.如权利要求1所述的一种利用深度信息的多通道视频流编码方法，其特征在于所述的通道选择单元，对于辅通道视频流，将多个图像帧组成一个图像组，对于每个图像组，把其中的一个图像帧作为关键帧，把其余的图像帧作为非关键帧；满足P_D≤L_AG≤L_MG，且P_D能够被L_AG整除，L_AG能够被L_MG整除，L_AG为正整数，其中L_AG为辅通道的图像组长度，L_MG为主通道的图像组长度，P_D为主通道的深度图周期。

6.如权利要求1所述的一种利用深度信息的多通道视频流编码方法，其特征在于所述的图像渲染单元，在单个通道组内，对于辅通道视频流的关键帧，根据该时刻主通道的重建图像帧和深度图，采用深度图像渲染的方法产生辅通道该时刻的关键帧的预测图。

7.如权利要求1所述的一种利用深度信息的多通道视频流编码方法，其特征在于所述的图像渲染单元，对于辅通道视频流的关键帧，若输入的多通道视频流分成多个通道组，选择与该辅通道邻近的多个通道组的主通道，这些主通道的深度图周期能够被该辅通道的图像组长度整除，根据该时刻这些主通道的重建图像帧和深度图，采用深度图像渲染的方法产生该辅通道的关键帧的预测图。