[发明专利]面向交互式应用的多视点视频编码方法

摘要

本发明涉及多视点视频编码技术领域，公开了一种面向交互式应用的多视点视频编码方法。为提高多视点视频的交互式性能，本发明首先修改了关键帧图像视点间的预测关系，并将视差补偿预测只应用于关键帧图像，而对非关键帧图像只进行运动补偿预测。其次，多视点视频除了视频内容具有高度相关性外，视点间参考图像的运动信息同样具有高度依赖性。根据这个原理，本发明又提出一种运动信息跳过模式的自适应运动矢量精细化算法，用于优化非关键帧图像的运动补偿预测的性能。本发明在保证高压缩效率的前提下，优化多视点视频随机访问性能，支持快速的视点切换，从而提高多视点视频的交互式性能。

主权项

一种面向交互式应用的多视点视频编码方法，其特征在于该方法包括以下步骤：步骤1：多视点视频序列分为基本视点和增强视点，每个视点序列都分为关键帧和非关键帧，选择中间视点为基本视点，并确定各视频序列关键帧的视点间参考关系，步骤2：基本视点不参考其它视点，关键帧采用帧内预测编码方法；非关键帧选择本视点内的时间方向帧为参考帧，进行运动补偿预测编码，步骤3：增强视点的关键帧参考其它视点的关键帧，采用帧内预测编码方法或视差补偿预测法进行编码，同时计算出与参考视点的关键帧之间的全局视差，步骤4：对增强视点的非关键帧，利用前后相邻两个关键帧图像的全局视差进行插值计算得到每个非关键帧图像与参考视点同一时刻非关键帧之间的全局视差，步骤5：增强视点的非关键帧不进行视差补偿预测，只进行运动补偿预测，在传统的H.264的宏块编码模式的基础上，根据运动信息的视点间高度依赖性原理，采用自适应运动矢量精细化的运动信息跳过模式对图像进行编码，其中，增强视点的非关键帧根据运动信息的视点间高度依赖性原理，采用自适应运动矢量精细化的运动信息跳过模式对图像进行编码：首先通过全局视差找到当前编码宏块在参考视点中的对应宏块，并导出参考视点中对应宏块的运动信息，包括宏块分割模式、运动矢量，作为当前宏块的候选编码模式MODEcur_opt和运动矢量MVcur_opt；同时，在非关键帧所在同一视点内进行运动预测，得出当前编码宏块在非关键帧所在同一视点内宏块的编码模式MODEco和运动矢量MVco，如果候选编码模式MODEcur_opt与编码模式MODEco相同，则直接提取由本视点内运动预测得到的编码模式MODEco和运动矢量MVco作为当前编码宏块的编码模式和运动矢量，如果候选编码模式MODEcur_opt与编码模式MODEco不相同，则在参考视点对应宏块周围扩大搜索范围，即把参考视点中对应宏块的8个相邻宏块的编码模式和运动矢量，作为当前宏块的候选编码模式和运动矢量；最后利用所有候选编码模式和运动矢量，在本视点内进行运动补偿预测；步骤6：增强视点非关键帧编码后设置每个宏块的运动信息跳过模式标志位，并写入码流以发送到解码端， 步骤7：在解码端进行图像重建，即，首先判断当前帧图像类型，如果当前帧图像类型为关键帧，则对参考视点进行完全解码；如果当前帧图像类型为非关键帧，只需先对其参考视点的对应帧进行解析得到运动信息，不需要对参考视点的对应帧进行完全解码，然后，再解码当前帧图像。