[发明专利]用于视频序列中错误隐藏的方法

说明书

本申请是基于在2003年07月15日提交的、申请号为03816728.X(PCT/IB2003/002802)、发明名称为“用于视频序列中错误隐藏的方法”的专利申请的分案申请。

技术领域

本发明主要涉及视频编码，并且尤其涉及隐藏由错误引入的人为图像失真。

背景技术

视频序列由一系列静止图象或帧组成。视频压缩方法是基于减少视频序列中冗余和与知觉无关的部分。视频序列中的冗余可以分为光谱、空间和时间冗余。光谱冗余指同一幅图象的不同颜色成分之间的相似性。空间冗余源于一幅图象中相邻象素之间的相似性。时间冗余的存在是因为出现在以前图象帧中的物体还可能出现在当前的图象帧中。可以通过利用这种时间冗余并从被称为参考图象的别的图象预测当前图象来实现压缩。通过生成描述当前图象和参考图象之间运动的运动补偿数据实现了进一步的压缩。

视频压缩方法典型地区分利用时间冗余减少的图像和不利用时间冗余减少的图象。不利用时间冗余减少的方法的压缩图象通常被称为INTRA-(或者I-)帧或者图象。时域预测图象通常由出现在当前图象之前的图象来前向预测，并被称为INTER-或者P-帧。典型地，压缩的视频片段由图象序列组成，其能被粗略的分为时域无关的INTRA图象和时域差分编码的INTER图象。典型地，INTRA图象被用来在重建的视频信号中阻止传输错误的时域传播，以及提供进入视频比特流的随机存取点。因为INTRA图象提供的压缩效率通常比INTER图象提供的低，因此通常很少用它，特别是在低比特率的应用中。

视频序列可以由许多摄影机场景(scene)或者镜头(shot)组成。镜头被定义为使用一个摄影机拍摄的一组连续的帧或者图象。通常而言，一个镜头中的帧是高度相关的。但是，在一个典型的视频序列中，图象内容从一个场景到另一个场景是显著不同的，因此一个场景的第一个图象通常是INTRA编码的。视频序列中不同镜头之间的变化被称为“场景过渡”。场景过渡可以采取许多不同的形式。比如，一个镜头结束，而另一个以“场景剪辑”突然开始。在其他情形，场景过渡是渐变的，并发生在多于一个的帧中。渐变的场景过渡的例子是“消隐”、“淡变”(淡入、淡出)和“划变(wipe)”。

压缩视频很容易被传输错误损坏，主要有两个原因。首先，由于利用了时域预测差分编码(INTER帧)，所以错误会在空间和时间上传播。其次，使用变长编码使得视频比特流更容易出错。接收器(视频解码器)有许多方法来寻址在传输路径中引入的损坏。通常而言，当接收到信号时，传输错误首先被检测，并且然后被解码器校正或者隐藏。术语“错误校正”指完全地恢复错误数据的过程，如同本来就没有引入错误，而“错误隐藏”指隐藏传输错误的影响的过程，使之在重建的视频序列中几乎不可见。

目前，由ISO/IEC运动图象专家组和ITU-T视频编码专家组组成的联合视频组(JVT)为ITU-T H.264/MPEG-4第10部分AVC视频编解码器开发的视频解码器缺乏一种用于决定如何隐藏INTRA编码帧和场景过渡帧中的传输错误的方法，并且正是在这种情况下，开发了本发明。

发明内容

本发明的目的是提供一种为属于视频序列中场景过渡的帧选择合适的错误隐藏形式的方法。该方法同样适用于突变的场景过渡(即场景剪辑)和渐变的场景过渡，比如淡变、划变和消隐等。

为了对属于场景过渡的帧进行有效的错误隐藏，需要两种信息：1)镜头变化开始和结束所在帧的信息；以及2)涉及的场景过渡的类型(剪辑、消隐、淡变、划变等)。因为正确解码视频编码层(VCL)数据时不需要刚才所述的两种类型的信息，所以本发明建议与场景过渡相关的信息以附加增强信息(SEI)来提供，并被包括在作为附加增强信息(SEI)消息的已编码的视频比特流中。于是隐藏发生在属于场景过渡的帧中的错误所需要的所有必需信息可以从SEI消息中推出。

依照本发明，视频序列中每一个场景与场景标识符值相关。连续场景的场景标识符值彼此不同，这样，当视频解码器接收的场景标识符和先前接收的不同时，它就可以断定已经发生了场景变化。在一个场景过渡周期中的帧与两个场景标识符值相关，两个过渡场景每个都有一个。此外，渐变场景过渡与特定的过渡类型相关，其可以是消隐、淡入、淡出、划变或者以上都不是(即某种其它类型的过渡)。这个粗略的分类为解码器提供了足够的指导，允许其在场景过渡时对数据丢失或者损坏选择合适的错误隐藏算法。