[发明专利]基于图像分割的立体视频右图像整帧丢失的错误隐藏方法

说明书

技术领域

本发明属于视频图像处理领域，具体涉及一种基于图像分割的立体视频右图像整帧丢失的错误隐藏方法。

背景技术

多视点视频作为一种具有立体感和交互操作功能的新型数字媒体，是未来视频发展的重要方向。人类在自然条件下感知到的图像都是对三维物体的反映，传统的单视点二维视频不能真实再现自然场景，无法满足人类原始的视觉习惯。基于多视点视频处理的立体视频(Stereoscopic Video)技术与人脑立体视觉的产生原理相符合，能带给人们更加真实的视觉体验。多视点立体视频是由摄像机阵列中的各个相机从不同角度拍摄同一场景得到的一组视频信号，可以广泛应用于任意视点视频/电视、3D电视、交融式会议电视、远程医学诊疗、虚拟现实以及视频监视系统等多种正在兴起的多媒体业务。与单视点视频相比，立体视频数据量非常巨大，若不采取高效的压缩编码算法必将制约其广泛应用。

目前，主流的多视点立体视频编码方法是基于H.264/AVC的，不但要消减每个视点视频的时间、空间冗余信息，还要考虑多视点的特性去除视点间的冗余信息。当前编码帧除利用自身视点中已编码帧做参考帧外，还可利用其它视点中的已编码帧作为参考图像。文献(“S.Li，M.Yu，G.Jiang，et al.Approaches to H.264-based Stereoscopic Video Coding”)提出的双目视差结构是最基本的，也是目前应用最多的立体视频编码结构。如图1所示，左视点采用基于H.264等标准的IPPP编码结构，右视点各图像块以两种方式的预测：一种是基于右视点本身先前帧的运动补偿预测(MCP Motion Compensation Prediction)方式；另一种是基于左视点同时刻帧的视差补偿预测(DCP Disparity Compensation Prediction)方式。最后从中选择预测误差较小的一种作为该图像块的最终编码方式。这种编码结构兼顾了视点间和视点内部的相关性，能够得到比较理想的压缩效果。国际视频标准化组织正致力于对立体视频编码的研究和标准化。

在视频数据传输的过程中，由于信道中的丢包与误码等现象，解码端接收到的视频数据往往有错误或者不完整。这会导致解码图像出现不同程度的失真。另外，常用的视频压缩方法中大多采用了预测编码和变长编码，这使得视频数据对传输错误更加敏感，一个比特错误可能会导致解码图像严重失真，甚至影响后续帧的解码。另外，在低码率下，常将整帧打为一包，丢包会导致视频当前帧图像整帧丢失、质量严重恶化。对于立体视频，整帧丢失将严重影响立体视频的成像效果。为了解决这一问题，即在整帧丢失的情况下仍能得到较高质量的立体视频，需采用错误隐藏(EC Error concealment)技术对丢失帧恢复。错误隐藏的基本思想是在解码端利用图像的时间域、空间域或视间域的冗余信息恢复受损区域，掩盖和减少出现的错误，使其视觉效果接近原来的效果。

关于网络环境下的立体视频传输抗差错问题，已经有部分研究结果。立体视频左图像整帧丢失可以采用单视点的错误隐藏方法，所以对于立体视频主要研究右图像的错误隐藏方法。大多数错误隐藏方法是针对部分宏块丢失或条带丢失的情况，利用时域和空域的相关性及周围正确解码宏块的运动矢量(MV Motion Vector)或视差矢量(DV Disparity Vector)来恢复图像。