[发明专利]基于深度图像渲染的多通道视频流编码器和解码器

摘要

本发明公开了一种基于深度图像渲染的多通道视频流编码器和解码器。本发明在对多通道视频流进行编码时，对中心通道视频流图像帧和深度图按照视频编码标准方法进行编码；根据通道重建后的图像帧和深度图，采用深度图像渲染技术得到邻近的待编码的辅助通道的预测图，对遮挡信息进行变换、量化、熵编码。本发明在对多通道视频压缩码流进行解码时，利用人类视觉系统的生理特点，采用深度图像渲染技术，根据两个相邻通道的图像帧和其深度图，得到位于该两个相邻通道中心位置的一个虚拟通道。在采用本发明解码器输出视频流的显示端，每个立体视点由一个高质量通道和一个虚拟通道构成，观众可以获得良好的立体视觉体验。

主权项

1.一种多通道视频流编码器，其特征在于，包括：图像校正单元，用于对输入的多个通道视频流图像帧进行校正，以使对应点位于水平扫描线上；通道选择单元，用于从输入的多个视频通道中选择中心通道和辅助通道；深度产生单元，用于生成中心通道和辅助通道视频流内每个图像帧的深度图；辅助通道预测单元，用于根据通道重建单元产生的重建帧，和深度产生单元产生的深度图，产生辅助通道图像帧的预测图；中心通道编码单元，用于对中心通道视频流，和深度图组成的深度流，按照视频编码标准方法进行编码，以生成中心通道码流，视频编码标准方法包括视频编码国际标准MPEG-X、H.26X和视频编码国家标准AVS；辅助通道编码单元，用于对辅助通道图像帧的遮挡图按照视频编码标准方法进行编码，以生成辅助通道码流；通道重建单元，用于对中心通道码流和辅助通道码流，按照视频编码标准方法进行解码，以生成中心通道重建图像帧、重建深度图和辅助通道重建遮挡图，根据重建遮挡图和辅助通道预测单元产生的辅助通道图像帧的预测图，产生辅助通道重建帧；复用器，用于将摄像机参数、中心通道码流和辅助通道码流，按照时分复用方式，生成多通道视频压缩码流。