[发明专利]自由视点四维空间视频编码系统的编码方法

摘要

自由视点四维空间视频编码系统的编码方法，属于视频压缩编码技术领域。将自由视点四维空间视频的编码系统分为两个通道，通道一对亮度和色度信息进行压缩编码，通道二对深度信息进行压缩编码。并且，实际应用中可根据需要使能或者禁止此编码系统中相应的部分，从而得到相应的柱面全景视频编码码流、平面立体视频编码码流或者二维视频编码码流。本发明的自由视点四维空间视频编码系统具有较强的扩展性和适用性，具有不可限量的广阔应用前景。

主权项

一种自由视点四维空间视频编码系统的编码方法，将自由视点四维空间视频的编码系统分为两个通道；通道一包含平面图像到柱面图像的映射模块、帧内预测模块、预测模式选择模块、离散余弦变换模块、量化模块、重排序模块、熵编码模块、运动估计模块、运动/视差补偿模块、视差估计以及优化模块、反量化模块、反离散余弦变换模块、滤波模块、柱面全景图像拼接模块；通道二包括深度信息的计算和优化模块、深度信息补偿模块、深度信息的离散余弦变换模块、深度信息的量化模块、深度信息的重排序模块、深度信息的熵编码模块、深度信息的反量化模块、深度信息的反离散余弦变换模块；通道一的视差估计以及优化模块与通道二的深度信息的计算和优化模块连接;其特征在于，编码方法如下：平面图像到柱面图像的映射模块对当前待编码的图像进行映射处理，增加弧度维的信息；一方面帧内预测模块对处理后的带有弧度维的图像帧进行帧内预测，找到帧内预测的最佳预测模式和预测像素值以及相应的绝对误差和SAD的值；另一方面，处理后的带有弧度维的图像帧还需要进行帧间预测；在进行帧间预测过程中，为了充分利用不同视点间图像帧之间的相关性，选用同一视点间和不同视点间的已编码的图像作为参考图像，提高编码效率；运动估计模块对处理后的带有弧度维的图像帧在时域参考图像帧搜索目标范围内进行运动估计，找到当前编码的宏块在时域参考图像中的最佳匹配以及相应的运动矢量；视差估计以及视差优化模块对处理后的带有弧度维的图像帧在视点间参考图像帧搜索目标范围内进行视差估计，得到当前编码的宏块在视点间参考图像中的最佳匹配以及相应的三维视差矢量；运动/视差补偿模块对运动估计模块和视差估计以及视差优化模块得到的具有弧度维的运动矢量和视差矢量经过进行补偿，得到帧间预测的三维运动/视差矢量和预测像素值以及相应的SAD值；预测模式选择模块通过对帧内预测模块得到的帧内预测SAD值和运动/视差补偿模块得到帧间预测的SAD值进行比较，选择较小的SAD值所用的预测模式作为当前帧的最佳预测方式，并给出相应的预测像素值；当前待编码的图像帧的像素值减去预测模式选择模块得到的预测像素值，从而得到预测残差；离散余弦变换模块和量化模块对预测残差进行变换和量化处理，得到残差系数；残差系数经过重排序模块以及熵编码模块后得到编码码流；此外，量化模块得到的残差系数经过反量化模块和反离散余弦变换模块后得到重建的残差；重建的残差与预测模式选择模块得到的预测像素值相加后得到当前帧像素值的重建；然后再经过滤波模块去除方块效应进行图像增强；柱面全景图像拼接模块对滤波后的图像进行处理，即根据需要对图像进行旋转、变焦技术处理，并对图像帧之间存在的冗余像素和盲区像素进行优化补偿，最终重建出当前帧的柱面全景视频帧，作为后续图像帧编码的参考图像帧；在通道二中，深度信息计算与优化模块利用通道一中的视差估计以及优化模块得到的三维视差矢量，根据公式（1）中视差矢量和深度之间的关系，得到当前帧的具有弧度维 的深度信息；深度信息补偿模块根据深度信息计算与优化模块得到的深度信息对参考图像的深度信息进行补偿，得到深度差值信号；深度差值信号经过深度信息的离散余弦变换模块、深度信息的量化模块、深度信息的重排序模块以及深度信息的熵编码模块后得到深度信息的编码码流；此外，深度信息的量化模块得到的差值系数经过深度信息的反量化模块、深度信息的反离散余弦变换模块后得到重建的差值；重建的差值和深度信息补偿模块得到的深度信息预测值相加后，重建出当前帧的深度信息；若将通道二功能禁止，编码的码流中没有深度维信息，得到的是柱面全景视频编码码流；若将通道一中弧度计算模块设置为无效，此时编码的码流没有弧度信息，得到的是平面立体视频编码码流；若同时将通道一中弧度计算模块设置为无效，将通道二功能禁止，则得到二维视频编码码流。