[发明专利]运动估计方法、基于运动估计的多视编解码方法及装置

说明书

技术领域

本发明涉及视频图像编解码技术，特别涉及运动估计方法、基于运动估计的多视编解码方法及装置。

背景技术

目前的视频编码标准如国际电信联盟(ITU，InternationalTelecommunication Union)制定的H.261、H.263、H.263+、H.264标准，以及运动图像专家组(MPEG，Moving Picture Experts Group)制定的MPEG-1、MPEG-2、MPEG-3、MPEG-4等，都是建立在混合编码(Hybrid Coding)框架之上的。所谓混合编码框架是一种混合时间空间的视频图像编码方法，编码时，先进行帧内、帧间的预测，得到原始图像预测图像，以消除时间域的相关性；然后根据原始图像预测图像与原始图像实际图像的差值，得到残差图像，对残差图像采用离散余弦变换法或其它的变换法进行二维变换，以消除空间域的相关性；最后对变换后的数据进行熵编码，以消除统计上的冗余度，再将熵编码后的数据与解码所需的包括运动矢量在内的一些变量信息，组成一个编码码流，供后续传输和存储用，从而达到压缩视频图像的目的。相应地，在解码时，对接收到的编码码流按照熵解码、反变换以及预测补偿等一系列解码过程重建出图像。这里，一帧即为视频序列中的一个图像。

由于在单个摄像机拍摄到的视频序列中，相邻图像之间存在着很强的相关性；而在多视视频编码领域，采用多个摄像机对同一个场景进行拍摄时，所拍摄到的多个视频序列的图像之间也存在较大的相关性，因此，采用预测技术能够充分利用帧内以及帧间的空间、时间相关性，在消除相关性的基础上减小码率，提高压缩码流与原始图像的数据量压缩比。现有技术中主要存在两种预测方法，下面分别予以介绍。

第一种预测方法是利用同一个视频序列中相邻图像之间的时间相关性，对当前图像进行运动估计。具体而言，已知参考帧在t时刻的运动矢量，利用二维(2D)直接模式预测当前帧在t-i时刻的运动矢量，其中，i表示参考帧与当前帧的时间差值。为后续描述方便，将该方法称为单视编码运动估计算法。

在多视编码中，同一时刻相邻视之间存在很强的相关性，上述单视编码运动估计算法没有很好地利用这种空间相关性，使得编码效率较低。

第二种预测方法是在第一种预测方法的基础上利用多视几何中各视间的相关性，即利用参考视图像与当前视图像之间的视差图像，由参考视图像预测当前视图像。在单视或多视编码中，为了进行预测，通常将编码图像分为三类，分别称为I帧，P帧和B帧。其中，I帧采用帧内编码方式，P帧采用前向帧间预测方式，B帧采用双向帧间预测方式。下面以8个摄像机、且每个摄像机取连续9帧图像为一组的情况为例，说明现有视频联合工作组(JVT)多视时空编码框架中多视编码方法的实施过程。

图1为现有JVT中提出的多视时空编码框架示意图。参见图1，S0～S7分别代表8个摄像机所拍摄到的视频序列；T代表时刻，各视在T0～T8时刻所对应的图像即为各视频序列中的连续9帧，也称为一个视频段；图中箭头表示：箭头目的帧是由箭头源帧预测得到的。图1所示框架中，S0、S2、S4、S6和S7视的编码先于其相邻视，该编码方法包括以下步骤：

(1)对T0时刻和T8时刻S0视的I帧进行帧内编码，分别得到该两个时刻的I帧；再以T0时刻S0视的I帧预测T0时刻S2视的P帧、T8时刻S0视的I帧预测T8时刻S2视的P帧；以T0时刻S2视的P帧预测T0时刻S4视的P帧、T8时刻S2视的P帧预测T8时刻S4视的P帧，同理得到S6视和S7视在T0时刻和T8时刻的P帧；

(2)以T0时刻S0视的I帧和T0时刻S2视的P帧预测T0时刻S1视的B帧、T8时刻S0视的I帧和T8时刻S2视的P帧预测T8时刻S1视的B帧；同理，得到S3和S5视T0时刻和T8时刻的B帧；

(3)对于S0、S2、S4、S6和S7视，采用如前所述的单视编码运动估计算法，分别以各视T0时刻和T8时刻的P帧预测T4时刻的B帧，并以T0时刻的帧和T4时刻的B帧预测T2时刻的B帧、以T4时刻的B帧和T8时刻的帧预测T6时刻的B帧，再以T0时刻的帧和T2时刻的B帧预测T1时刻的B帧、以T2时刻的B帧和T4时刻的B帧预测T3时刻的B帧、以T4时刻的B帧和T6时刻的B帧预测T5时刻的B帧、以T6时刻的B帧和T8时刻的帧预测T7时刻的B帧。