[发明专利]基于深度图像渲染的多通道视频流编码器和解码器

权利要求书

1.一种多通道视频流编码器，其特征在于，包括：

图像校正单元，用于对输入的多个通道视频流图像帧进行校正；

通道选择单元，用于从输入的多个视频通道中选择中心通道和辅助通道；

深度产生单元，用于生成中心通道和辅助通道视频流内每个图像帧的深度图；

辅助通道预测单元，用于根据通道重建单元产生的中心通道重建图像帧和重建深度图，或者根据通道重建单元产生的辅助通道重建图像帧和深度产生单元产生的深度图，产生辅助通道图像帧的预测图；

中心通道编码单元，用于对中心通道视频流，和深度图组成的深度流，按照视频编码标准方法进行编码，以生成中心通道码流，视频编码标准方法包括视频编码国际标准MPEG-X、H.26X和视频编码国家标准AVS；

辅助通道编码单元，用于对辅助通道图像帧的遮挡图按照视频编码标准方法进行编码，以生成辅助通道码流；

通道重建单元，用于对中心通道码流和辅助通道码流，按照视频编码标准方法进行解码，以生成中心通道重建图像帧、重建深度图和辅助通道重建遮挡图，根据重建遮挡图和辅助通道预测单元产生的辅助通道图像帧的预测图，产生辅助通道重建帧；

复用器，用于将摄像机参数、中心通道码流和辅助通道码流，按照时分复属方式，生成多通道视频压缩码流；

所述的深度产生单元根据中心通道图像帧，和与其邻近的任意一个辅助通道的同一时刻的图像帧，产生中心通道该时刻图像帧的深度图；根据通道重建单元产生的当前通道的重建帧，和当前通道的邻近通道的同一时刻的重建帧，产生当前通道该时刻的重建帧的深度图；

所述的辅助通道编码单元，对辅助通道图像帧和辅助通道预测单元产生的该图像帧的预测图作差，产生辅助通道遮挡图，遮挡图反映了由于遮挡而没有在预测图上出现的信息。

2.一种多通道视频流解码器，其特征在于，包括：

解复用器，用于把多通道视频压缩码流分解为摄像机参数、中心通道码流和辅助通道码流；

中心通道解码单元，用于对中心通道码流，按照视频编码标准方法进行解码，以生成中心通道重建图像帧和重建深度图，视频编码标准方法包括视频编码国际标准MPEG-X、H.26X和视频编码国家标准AVS；

深度产生单元，用于产生辅助通道重建图像帧的深度图；

通道预测单元，用于产生辅助通道图像帧的预测图，和虚拟通道图像帧的预测图；

辅助通道解码单元，用于对辅助通道码流，按照视频编码标准方法进行解码，以生成辅助通道图像帧的重建遮挡图，对该重建遮挡图和通道预测单元产生的预测图相加，以生成辅助通道的重建图像帧；

图像反校正单元，用于对解码生成的中心通道重建图像帧、辅助通道重建图像帧和虚拟通道预测图像帧进行反校正，以使各通道图像帧恢复到拍摄的位置；

所述的深度产生单元，根据辅助通道解码单元产生的当前辅助通道的重建图像帧，和当前辅助通道的邻近通道的同一时刻的重建图像帧，产生当前辅助通道的该重建图像帧的深度图；

所述的通道预测单元，根据中心通道解码单元产生的中心通道的重建图像帧和该图像帧的深度图，按照基于深度图像渲染的方法，产生同中心通道邻近的辅助通道的同一时刻的图像帧的预测图；根据辅助通道解码单元产生的当前辅助通道的重建图像帧，和深度产生单元产生的该图像帧的深度图，按照基于深度图像渲染的方法，产生同当前辅助通道邻近的未重建的辅助通道的同一时刻的图像帧的预测图；

所述的通道预测单元，在两个邻近通道的中心位置，根据该两个通道的同一时刻的重建图像帧和深度图，产生虚拟通道图像帧的预测图，该虚拟通道的虚拟摄像机的光心处于其两个邻近通道的摄像机的光心的连线的中点，该虚拟摄像机的光轴和中心通道的摄像机的光轴平行。

3.根据权利要求2所述的一种多通道视频流解码器，其特征在于所述的图像反校正单元，对于输入解码器的N个通道的压缩视频流，输出2N-1个通道的非压缩视频流，其中包括解码恢复出的N个通道的重建非压缩视频流，和采用深度图像渲染技术合成出的N-1个虚拟通道的非压缩视频流。

4.根据权利要求2所述的一种多通道视频流解码器，其特征在于所述的图像反校正单元，输出的2N-1个通道分为重建通道和虚拟通道，对N个重建通道，按其真实摄像机的相对位置顺序排列，对虚拟通道，插入到与该虚拟通道邻近的两个重建通道的中心位置；输出的2N-1个通道，共可以产生2N-2个立体视点观看位置，每个立体视点观看位置由一个重建通道和一个虚拟通道组成。