[发明专利]视频编码方法及解码方法、其装置及其程序以及记录程序的存储介质

说明书

技术领域

本发明是涉及多视点活动图像的编码以及解码的技术。

本申请要求基于2006年1月5日申请的专利申请号为2006-000393的优先权，其内容在此引用。

背景技术

多视点活动图像是由不同位置上的摄像机(camera)对相同被拍摄体和背景进行摄影后的多个活动图像。下面，将由一个摄像机所摄影的活动图像称为“二维活动图像”，将对相同被拍摄体和背景进行摄影后的二维活动图像的集合称为多视点活动图像。多视点活动图像中所包含的各摄像机的二维活动图像在时间方向存在较强的相关。另一方面，在各摄像机同步的情况下，与相同时间对应的各摄像机的帧对完全相同的状态下的被拍摄体和背景进行摄影，所以，在各摄像机间存在较强的相关。

首先，描述与二维活动图像的编码方式相关的现有技术。在以作为国际编码标准的H.264、MPEG-4、MPEG-2为首的现有多种二维活动图像编码方式中，利用运动补偿、正交变换、量子化、可变长度编码这样的技术，进行高效率的编码。

例如，在H.264中，在I帧中能够利用帧内相关进行编码，在P帧内能够利用与过去的多个帧的帧间相关进行编码，在B帧中能够利用与过去或将来的多个帧的帧间相关进行编码。

H.264的技术细节记载在下述的非专利文献1中，下面进行简要地说明。在I帧中对帧进行块分割(将该块称为宏模块(macroblock)，块尺寸是16×16(像素))，在各宏模块中进行帧内预测(intra-prediction)。在帧内预测时，将各宏模块分割为更小的块(下面称为子块)，能够在各子块中进行不同的帧内预测方法。

另一方面，在P帧中，能够在各宏模块中进行帧内预测或帧间预测(inter-prediction)。P帧的帧内预测与I帧的情况相同。另一方面，在帧间预测时进行运动补偿。在运动补偿中，也将宏模块分割为更小的块，能够在各子块中具有不同的运动矢量、参考图像。

并且，在B帧中，也能够进行帧内预测和帧间预测，但是，B帧的帧间预测中，除了过去的帧以外，将来的帧也能够适用于运动补偿的参考图像。例如，在I帧→B帧→B帧→P帧这样的帧结构中进行编码的情况下，能够以I→P→B→B的顺序进行编码。并且，在B帧中，能够参考I帧以及P帧进行运动补偿。此外，与P帧的情况相同地，能够按将宏模块分割后的每个子块具有不同的运动矢量。

在进行帧内、间预测时，得到预测残差(prediction residual)，在各宏模块中对预测残差块进行DCT(离散余弦变换)并进行量子化。并且，对这样得到的DCT系数的量子化值进行可变长度编码。

关于多视点活动图像的编码，以往存在如下方式：根据将运动补偿应用到相同时刻的不同摄像机的图像中的“视差补偿”，高效率地对多视点活动图像编码。在此，所谓的视差，是指在配置于不同位置上的摄像机的图像平面上对被拍摄体的相同位置进行投影的位置之差。

在图9中示出在摄像机间所产生的视差的示意图。在该示意图中，是垂直地向下观察光轴平行的摄像机的图像平面得到的图。这样，在不同摄像机的图像平面上对被拍摄体上的相同位置进行投影的位置一般称为对应点。视差能够表现为平面内的位置的偏差，所以，能够表现为二维矢量的信息。

在视差补偿中，由参考图像推测与编码对象摄像机的图像上的某个目标像素对应的参考目的地的摄像机的图像上的对应点，以与该对应点对应的像素值预测目标像素的像素值。以下，为了方便，将上述的“所推测的视差”也称为“视差”。

作为使用视差补偿的编码方法，例如有非专利文献2，在这样的方式中，对与编码对象的图像的像素相对的视差信息和预测残差进行编码。具体地说，在该方法中，包含以块为单位进行视差补偿的设计，以二维矢量表现块单位的视差。该视差矢量的示意图在图10中示出。即，在该方法中，对作为二维矢量的视差信息和预测残差进行编码。并且，在该方法中，由于不利用摄像机参数进行编码，所以，在摄像机参数未知的情况下是有效的。

在存在多个作为来自分别不同摄像机的参考图像的情况下，能够利用任意视点图像技术进行视差补偿。在非专利文献3中，利用任意视点图像生成技术进行视差补偿。具体地说，以与该像素对应的不同摄像机的对应点的像素值进行插入(interpolation)，预测编码对象摄像机的图像的像素值。在图11中示出该插入的示意图。在该插入中，插入与像素m对应的参考图像1、2的像素m′、m″的值，由此，预测编码对象图像的像素m的值。