[发明专利]面向交互式应用的多视点视频编码方法

说明书

技术领域

本发明涉及到多视点视频信号的编码压缩方法，尤其是涉及基于运动信息跳过编 码的面向交互式应用的视频信号压缩方法。

背景技术

多视点视频是当前多媒体领域的研究热点。作为FTV(自由视点电视)、3DTV(三 维电视)等三维音视频应用中的核心技术，多视点视频技术旨在解决3D交互式视频 的压缩、交互、存储和传输等问题。多视点视频信号是由相机阵列对实际场景进行 拍摄得到的一组视频信号，它能提供拍摄场景不同角度的视频图像信息，利用其中 的一个或多个视频信息可以合成任意视点的信息，使用户在观看时可以任意改变视 点或者视角，以实现对同一场景进行的多方位体验。因此，多视点视频将广泛应用 于面向带宽与高密度存储介质的交互式多媒体应用领域，如数字娱乐、远程监控、 远程教育等。

多视点视频系统可以进行多视点视频信号的采集、编码压缩、传输、接收、解 码、显示等，而其中多视点视频信号的编码压缩是整个系统的核心部分。一方面， 多视点视频信号存在着数据量巨大，不利于网络传输和存储，如何高效地压缩多视 点视频数据是其应用面临的一个重要挑战。另一方面，多视点视频是一种具有立体 感和交互操作功能的视频序列，在保证视频高压缩率同时，也要关注其交互式性能， 使系统具有灵活的随机访问、部分解码和绘制等性能。

利用多视点视频信号的时间相关性、视点间相关性，采用运动补偿预测、视差 补偿预测是进行多视点视频信号编码压缩的基本思路。目前大量的研究集中于寻找 一种能最大限度地去除多视点视频序列时间上和视点间冗余的编码方案，如图2所 示的基于空间-时间分层B帧的多视点视频编码方案。但是对于大多数多视点视频序 列而言，虽然存在时间相关性和视点间相关性，但时间相关性却占了主导地位，所 以对于基于空间-时间的分层B帧预测结构，在关键帧图像利用视点间预测关系的情 况下，再对非关键帧进行视点间预测对压缩效率改善不明显，并且反过来会大大增 加编码复杂度以及在解码端由于视点间的密切耦合会大大降低了视点的随机访问性 能。

另外，多视点视频序列除了具有相似的视频内容外，还具有相似的运动特性， 即其运动信息同样具有高度的空间相关性，特别对运动剧烈的区域，其运动信息的 空间相关性要大于时间相关性。运动信息跳过模式利用了这个原理，即通过全局视 差矢量找到相邻视点中当前宏块的对应宏块，并导出对应宏块的运动信息作为当前 宏块的运动信息。运动信息跳过模式对传统的运动补偿预测进行优化。当运动信息 跳过模式为当前编码宏块的最佳编码模式时，只需要用一个模式标志位表明，而不 需要对残差进行编码，从而能减少需要传输的比特数，提高压缩效率。然而通过全 局视差有时不能得到当前编码宏块的最佳运动匹配信息。

针对以上问题，本发明采用一种面向交互式应用的多视点视频编码方法，在保 证高压缩效率的条件下获得了低复杂度利低时延随机访问性能。

发明内容

技术问题：本发明所要解决的技术是提供一种面向交互式应用的多视点视频编 码方法，在保证高压缩率的同时，改善多视点视频的交互式性能。

技术方案：本发明面向交互式应用的多视点视频编码方法，包括以下步骤：

步骤1：多视点视频序列分为基本视点和增强视点，每个视点序列都分为关键 帧和非关键帧，选择中间视点为基本视点，并确定各视频序列关键帧的视点间参考 关系，

步骤2：基本视点不参考其它视点，关键帧采用帧内预测编码方法；非关键帧 选择本视点内的时间方向帧为参考帧，进行运动补偿预测编码，

步骤3：增强视点的关键帧参考其它视点的关键帧，采用帧内预测编码方法或 视差补偿预测法进行编码，同时计算出与参考视点的关键帧之间的全局视差，

步骤4：对增强视点的非关键帧，利用前后相邻两个关键帧图像的全局视差进 行插值计算得到每个非关键帧图像与参考视点同一时刻非关键帧之间的全局视差，

步骤5：增强视点的非关键帧不进行视差补偿预测，只进行运动补偿预测，在 传统的H.264的宏块编码模式的基础上，根据运动信息的视点间高度相关性原理， 采用自适应运动矢量精细化的运动信息跳过编码对图像进行编码，

步骤6：增强视点非关键帧编码后设置每个宏块的运动信息跳过模式标志位， 并写入码流发送到解码端。

步骤7：在解码端进行图像重建，首先根据判断当前帧图像类型，对参考视点 进行部分解码，然后再解码当前帧图像。