[发明专利]参考图像选择方法以及装置

说明书

技术领域

本发明涉及能使用于所有的多媒体编码中，尤其使用于与隔行扫描视频源(interlace video source)的运动预测场编码用的多个参考图对应的视频编码中。

背景技术

未被压缩的视频源能以逐行扫描或者隔行扫描的扫描格式中的任一个格式来进行捕获。逐行扫描的扫描格式中在相同的时刻捕获所有的取样线(sample line)。另一方面，在隔行扫描的扫描格式中在不同的时刻交替地捕获取样线。图1是表示场图对(field picture pair)的说明图。如图1所示，在较早的时刻t所捕获的取样线构成前场图(top field picture)。在较晚的时刻t+1所捕获的取样线构成后场图(bottom field picture)。将前场图和与该前场图对应的后场图称为场图对。未被压缩的场图能采用帧编码或者场编码(field coding)来进行编码。在帧编码中，将前场图和后场图2个作为1枚图进行编码。在场编码中将前场图作为与后场图不同的图来进行编码。须指出的是，以下将场图简称为场。

一般而言，ISO/IEC 14496-2Part 10 International Standard等视频编码算法的大部分主要采用2种编码类型。帧内编码(intra picture coding)中在1个图内不使用其他图而进行。因而，只包含帧内编码后的取样像素的图被称为帧内图(intra picture)或者被简称为I图。另一方面，帧间编码(inter picture coding)中，通过参考来自其他图的取样像素，来使用视频图间的时间相关。单预测帧间图(single-predictive inter picture)(以下称为P图)是根据其他1枚图来预测的，而双预测帧间图(bi-predictive interpicture)(以下成为B图)是根据2枚其他图来预测的。

通过视频编码器，根据用途的需求，灵活地利用3种图类型(帧内、单预测、双预测)。编码以及解码处理的顺序(以下称为编码顺序)，通常不与用于源图的捕获顺序和显示的自解码器输出的顺序(以下称为显示顺序)相同。排列编码顺序，以使帧间图的编码以及解码处理，在该编码以及解码处理中所参考的其他编码完毕的图(以下称为参考图(referencepicture))之后进行的方式，。

非特許文献1：ISO/IEC 14496-2Part 10 International Standard

然而，在H.264(MPEG-4AVC)中为了改善帧间编码的编码效率，在编码处理中能使用更多的参考图。也就是，在MPEG-2中作为参考图可使用的图是I图以及P图，与此对应，在H.264中除了I图以及P图之外还可以将B图也用作参考图。另外，编码器在对图内的不同的块进行编码时，也可以使用不同的参考图。“块”这样的语言表示作为像素的集合的矩形，具有4x4、8x4以及8x16等块尺寸。编码器通过从很多可使用的参考图中按每个块选择最佳的参考图，能提高编码效率。

然而，调查可使用的所有参考图，并且按每个块选择最佳的参考图，从编码效率的观点出发是理想的，但是从处理量的观点出发不理想的。尤其在隔行扫描的扫描格式中，第2个以后的B图、也就是可参考编码完毕的B图(尤其后场)的B图，具有多个可参考的图，所以选择最佳的参考图的处理量大，为此的参考存储器的管理也复杂。

图2A表示图的编码顺序的一个例子。图2B表示该相同的图的显示顺序。场对200以及206是I图或者P图之一。场对212以及218是B图。在这些场中，在后场222的编码中可参考的场的数量比之前编码的场202、204、…216、220更多。在后场222的各块的编码中，能将场202、204、214、216或者220中的1个用于第1方向的参考，并且能将场208或者210中的1个用于第2方向的参考。视频编码器在后场222的编码处理中，选择1枚参考场(单预测编码的情况下)、或者2枚参考场(双预测编码的情况下)作为各块的预测参考。

后场222的编码中的参考图的选择，必须维持良好的视频画质的同时使编码效率成为最適。作为该选择的方法之一有如上所述那样调查可使用的所有参考图的方法。可惜的是该方法中重复动作或存储器访问很多，非常复杂。因而，从处理量的观点以及参考存储器的管理的观点出发，应用该方法是不太理想的。