[发明专利]基于运动向量外推和图像梯度加权的视频错误隐藏方法

说明书

本发明公开了一种基于运动向量外推和图像梯度加权的视频错误隐藏方法，包括以下步骤：解码端进行差错检测、运动向量归一化、计算图像梯度、运动向量外推和运动补偿，用参考帧中相应位置的像素宏块替换受损的像素宏块；本发明结合梯度加权的运动向量外推方法，在整帧丢失和半帧丢失的情况下，能够在较小的粒度范围内保持运动物体轮廓的完整性和一致性，对于提高受损图像的主观质量恢复有较为明显的效果。

技术领域

本发明涉及视频通信领域，具体的说是基于运动向量外推和图像梯度加权的视频错误隐藏方法。

背景技术

视频图像经过编码后，以视频流的形式在网络传输，受到外界噪音干扰、网络拥塞、信道不稳定等情况会出现误码或丢包，从而导致视频流受损，解码后的视频质量严重下降。为了恢复解码视频图像质量，错误隐藏技术得到广泛研究和应用。现有错误隐藏技术可以分为空域隐藏和时域隐藏两种方式。空域隐藏利用图像受损宏块周围的正确图像信息进行插值隐藏，仅应用于帧内编码宏块或区域，对图像细节不容易恢复。时域隐藏利用前一帧中与当前受损宏块位置相近的宏块的运动向量信息进行当前帧受损宏块的运动向量估计，并利用估计的运动向量进行运动补偿从而恢复受损宏块，适用于帧间编码宏块或区域。由于视频序列中大部分区域都采用帧间编码模式，所以时域隐藏技术的效果决定了整个视频图像质量恢复的效果。现有的时域隐藏技术大致有三种方法:宏块拷贝、运动向量拷贝、运动向量外推。宏块拷贝技术将受损宏块替换为前一帧中对应位置的宏块，仅适合于静止区域；运动向量拷贝技术将受损宏块的运动向量替换为前一帧中对应位置附近某个宏块的运动向量或者替换为附近宏块运动向量的中值、均值等，再依据恢复的运动向量进行运动补偿从而恢复视频图像，此方法适合于平滑运动区域，对非平滑运动区域如物体边界区、变速运动区效果较差；运动向量外推技术首先收集前一帧对应位置附近若干宏块的运动向量，并计算这些宏块运动到当前帧的位置，收集能够运动到当前受损宏块区域的宏块的运动向量和重叠面积，依据面积大小进行加权平均得到当前受损宏块的运动向量，依据此运动向量恢复受损区域图像。以上三种时域隐藏技术中以运动向量外推技术的适用范围更为广泛，适用于不同范围程度宏块或区域受损以及整帧或半帧丢失等情况；然而，运动向量外推技术以宏块运动向量就是宏块运动速度为前提假设，实际上两者并不总是一致，特别是对运动物体边界附近的区域，恢复效果较差；且由于收集的宏块可能一部分处于前景轮廓区域，一部分处于背景区域，则按面积加权的方式恢复的图像不能保证物体轮廓的一致性。

基于此，针对上述现状中存在的局限性，本发明提出了基于运动向量外推和图像梯度加权的视频错误隐藏方法，能够在半帧图像丢失和整帧图像丢失的情况下进行视频图像质量的恢复，并克服现有错误隐藏技术的不足之处，提高受损图像的质量恢复程度。

发明内容

为了解决上述现有技术的问题，本发明提供基于运动向量外推和图像梯度加权的视频错误隐藏方法，能够在半帧图像丢失和整帧图像丢失的情况下进行视频图像质量的恢复，并克服现有错误隐藏技术的不足之处，提高受损图像的质量恢复程度。

本发明解决其技术问题所采用的技术方案是：

基于运动向量外推和图像梯度加权的视频错误隐藏方法，包括以下步骤：

步骤1、解码端进行差错检测，负责检测当前受损的帧，标记所有受损区域的宏块；

步骤2、将受损的帧的前一帧作为参考帧，将参考帧的所有宏块的运动向量归一化；

步骤3、计算参考帧的图像梯度，以sobel算子进行参考帧内每个像素的梯度计算，并依据整帧图像的运动程度进行梯度修正；

步骤4、基于步骤3中的图像梯度计算结果，对受损宏块进行运动向量外推；

步骤5、根据步骤4中得到的运动向量，进行运动补偿，用参考帧中相应位置的像素宏块替换受损的像素宏块。

进一步地，所述步骤2中运动向量归一化具体为：