[发明专利]多视图象编解码方法及编解码器

说明书

技术领域

本发明涉及视频编码技术领域，尤其涉及一种多视编码技术。

背景技术

目前的视频编码标准如国际电信联盟(ITU，International Telecommunication Union)制定的H.261、H.263、H.263+、H.264标准，以及运动图象专家组(MPEG，Moving Picture Experts Group)制定的MPEG-1、MPEG-2、MPEG-3、MPEG-4等图象编码标准，都是建立在混合编码(Hybrid Coding)框架之上。

所述的混合编码框架是一种混合时间空间的视频图象编码方法，具体为：在编码时，先进行图象内、图象间的预测，得到预测值，以消除时间域的相关性；然后，根据预测值与原始图象实际值的差值，得到残差图象，对残差图象采用离散余弦变换法或其它的变换法进行二维变换，以消除空间域的相关性；最后，对变换后的数据进行量化以减小数据量，和熵编码，以消除统计上的冗余度，将熵编码后的数据与解码所需的包括运动矢量在内的一些边信息，一起组成一个压缩后的码流，供后续传输和存储用，达到压缩视频图象的目的。

相应地，在混合编码对应的解码端进行解码时，按照熵解码、反变换以及预测补偿等一系列解码过程重建出图象。所述的图像可以是静止图象也可以是序列图象中的一幅，可以是逐行扫描，隔行扫描，也可以是其它扫描得来，或是人工拼接构成。

混合编码框架中包括了图象内编码和图象间编码两种不同的编码方法。且所述的帧内编码与帧间编码过程中，均采用了预测技术，以充分利用了帧内以及帧间的空间、时间相关性，在消除相关性的基础上减小码率，并提高压缩码流与原始图象的数据量压缩比。尤其在混合编码框架中，帧间预测是减小图象时间相关性的有效方法，特别是在最近的视频标准H.264的高级视频编码(H.264/AVC，Advanced Video Coding)中，帧间预测采用了范围更广的块尺寸划分，包括从16×16到4×4，以及多参考图象帧等技术。

同样，在多视视频编码技术领域中，如多个摄像机对同一个对象或场景进行拍摄时，所拍到的多个视频序列的各个图象之间也存在着较大的相关性。因此在对多个视频序列同时编码时，可以利用当前视频序列中或其它视频序列中已编码的图象作为参考图象对当前待编码图象进行预测，得到残差图象，并对残差图象进行编码，从而消除多个视频序列的图象之间的相关性，有效降低图象之间的冗余度。

如图1所示，为便于描述，称各摄像机为“视”，即在图1中，视1、视2、......、视5分别来自于不同的摄像机的序列集合。同一时刻的图象组，是指同一物理时刻所有摄像机拍摄到的图象集合或者人为规定的同一时刻所有摄像机拍摄到的图象集合。参照图2所示，相应的A1和B1是同一时刻的图象组，A2和B2是同一时刻的图象组，等等。

通常情况下，作为当前待编码图象的参考图象，可以是当前时刻已经编码过的其他视拍摄到的图象，也可以是其他时刻已经编码过的所有摄像机拍摄(所有视)的图象。如图2所示，T1～T3是三个时刻，T1＜T2＜T3，A和B是两个不同的视，其中，B2是当前时刻(即T2时刻)的待编码图象，A2是当前时刻不同视的已经编码的图象；图2中的A1和B1是T1时刻已经编码过的图象。T3时刻的图象先于T2时刻的图象进行编码。A3和B3是T3时刻已经编码过的图象。在对B2进行编码时，可以用A1、B1、A3、B3和A2作为参考帧进行预测。

目前具体可以采用的多视编码实现方案可以为以下两种。

实现方案一

该实现方案一的编码结构如图3所示。在T＝1时刻，图象A1最先进行编码。编码B1图象可以参考A1图象，编码C1可以参考B1图象，依此类推。在其他后续时刻，当前待编码图象只参考当前视中已经编码过的图象，不同视之间的图象不进行相互参考。

在T＝1时刻，首先编(解)码的图象是A1，然后是B1，然后是C1，然后是D1，最后是E1。因此，T＝1时刻的编(解)码延时是5个单位。

在T＝2以及后续时刻，如果前面时刻的各个视的参考图象都已经获得，则各个视同一时刻的图象可以同时进行编(解)码，所以这些时刻的编(解)码延时是0个单位；所述的编(解)码延时的单位是指同一时刻最先编(解)码的一帧(或多帧)图象和最后编(解)码的一帧(或多帧)图象之间经过的图象个数。