[发明专利]一种应用于立体视频切换帧的自适应错误隐藏方法

说明书

技术领域

本发明主要涉及一种立体视频错误隐藏技术，尤其是涉及一种应用于立体视频切换帧的自适应错误隐藏方法。

背景技术

随着多媒体技术和视频系统的发展，立体视频以其能提供更真实直观的体验而被广泛应用于各种领域。而其相对于传统单视点视频，数据量大的特点导致在网络传输时更易出现差错，这一问题严重影响视频传输质量的下降。如何高效地压缩数据、有效传输图像信息以及解码端图像质量的恢复成为立体视频研究领域的热点。目前，对于立体视频数据量较大的问题，在视频系统编码端的处理通常是利用时间方向、空间方向以及视点间的相关性进行高效地视频压缩编码，减少冗余信息，但这样处理相应地会降低视频传输过程中的容错能力。在传输过程中，由于立体视频流的码率大、传输时间长、信道带宽不足、网络延迟等原因会出现数据包丢失或者部分比特出错，这些传输差错会降低视频终端的质量。受立体视频编码结构的限制，视频帧之间存在时间相关性、空间相关性以及视点间相关性，如果立体视频序列的某一帧数据出现解码错误，同一视点后续帧以及其他视点以出错帧为参考的后续帧数据也会存在解码错误，这种失真会在时间和空间上同时累积，严重损坏重建图像的质量，对整个传输系统带来严重影响。鉴于此，一种行之有效的错误隐藏方法来恢复立体视频终端的质量非常必要。

在视频解码端，用错误隐藏方法恢复解码端的视频质量非常重要，尤其是在低码率视频流传输后。错误隐藏方法最早应用于单视点视频解码中，根据单通道的特点，错误隐藏分为空域错误隐藏、时域错误隐藏和混合时空域错误隐藏方法。随着立体视频的迅速发展，错误隐藏被用于处理立体视频解码端视频数据恢复。大多数立体视频错误隐藏方法，在单视点的基础上，除了采用时域、空域、时空域混合错误隐藏外，还要考虑到视点之间的相关性，利用视差补偿进行错误隐藏。通常情况下，立体视频中错误隐藏分为两大类，整帧丢失错误隐藏和部分宏块丢失错误隐藏。对于整帧丢失的错误隐藏方法，由于一帧信息全部丢失，只能利用时间相关性和视点间相关性对当前帧进行预测，对整帧图像丢失中的宏块，通过视差矢量的时域相关性和运动矢量的视点间相关性对视频丢失块的信息进行恢复。而对部分宏块丢失的情况，当一帧图像中部分宏块发生丢失时，不仅可用前一时刻参考帧和前一视点参考帧中相应位置的宏块信息进行恢复，而且可用当前帧丢失宏块周围正确解码的宏块信息，在这些宏块中利用边界匹配法选择最佳候选块以达到最佳的错误隐藏效果。但是以上方法中，针对丢失宏块信息数据如何恢复，仅考虑到不同区域运动特性和视点相关性，从宏块级进行错误隐藏虽然效果好但是复杂度高，而且没有考虑到复杂的运动或场景，一旦出现场景切换的立体视频帧，能够运用的时域和视差信息几乎没有，该如何进行错误隐藏成为研究难点。因此，研究一种用于立体视频切换帧的自适应错误隐藏算法非常必要。

发明内容

本发明所要解决的技术问题是针对上述现有技术提供一种应用于立体视频切换帧的自适应错误隐藏方法，其能够针对有场景切换的立体视频进行有效地错误隐藏，降低解码端的复杂度，恢复立体视频质量。

本发明解决上述技术问题所采用的技术方案为：一种应用于立体视频切换帧的自适应错误隐藏方法，其特征在于：

对于立体视频中发生有场景切换且存在有丢失宏块的视频帧采用如下方式进行错误隐藏：

对视频帧中丢失宏块中某一点的像素值通过以下公式进行插值恢复：

其中，f_i,j(t)表示第t时刻视频帧内某一丢失宏块中坐标位置为(i,j)的点的像素亮度值，f_T、f_B、f_L、f_R分别表示前述丢失宏块上、下、左、右四个方向上的相邻宏块中与该丢失宏块相关联的四个边界点的像素值，d_T、d_B、d_L、d_R分别表示对应上、下、左、右四个方向上的权重，而d_T、d_B、d_L、d_R则用待插值恢复点与四个边界点之间的距离进行表征；

对于立体视频中没有发生有场景切换且存在有丢失宏块的右视点视频帧采用如下方式进行错误隐藏：

先判断除第1视频帧之外的有丢失宏块的右视点视频帧属于相对运动帧还是属于相对静止帧，如果属于相对运动帧，则采用下述步骤一所述的方法恢复丢失宏块的右视点视频帧中所有丢失宏块的像素值；如果属于相对静止帧，则采用下述步骤二所述的方法恢复丢失宏块的右视点视频帧中所有宏块的像素值；