[发明专利]压缩编码装置、解压缩解码装置

说明书

技术领域

本发明涉及应用于对在多视点上所拍摄的图像进行编码/解码的装置和方法等中十分有效的技术。

背景技术

近些年来，应用在多视点中同时拍摄的动态图像的技术受人瞩目。通过使用这种动态图像，以往在立体照相机系统中无法实现的技术得以实现。例如，可以不使用立体显示器而由用户以自由的视点来观看相机动态图像。具体而言，通过在多视点同时拍摄演唱会的情形，用户可以不仅从一个视点观看演唱会的状况，还能从横向和后方等任意的视点来鉴赏。

但一般动态图像的信息量非常大。因此，不压缩动态图像的数据来进行媒体蓄积和网络传输，在传输速度和成本方面十分不利。因而，已开发有用可逆或者不可逆的方式对动态图像数据进行压缩编码的技术。例如，用Moving Picture Experts Group(MPEG)所标准化的MPEG-1、MPEG-2、MPEG-4等。

但伴随同时进行拍摄的视点数量增加(相机台数增加)，动态图像的数量也增加。因此，相比使用单一的相机拍摄的动态图像的数据量，在多视点同时拍摄的动态图像的总数据量增大。所以，希望出现一种能高效地对在多视点同时拍摄的动态图像的数据进行压缩编码的技术。

对于这种问题，提出了通过使用在各视点中所拍摄的动态图像之间的相关性，从而提高预测效率的技术。在这些技术中，伴随预测效率的提高，编码效率也提高。所谓在各视点中所拍摄的动态图像之间的相关性，指反映在某视点的相机中的物体和背景的一部分也反映于其他视点的相机中的情况。例如如果比较相机m中的帧和相机n中同一时刻的帧，则具有两个相机在相近的位置拍摄相近的方向的情况、拍摄相同物体和相同背景的情况。因此，通过将这种用不同相机在相同时刻拍摄的帧看作为用相同的相机所拍摄的帧，可以进行使用了动作矢量的预测编码。例如相比以前那样的仅使用相同相机(相机n)所拍摄的帧对相机n的帧进行动作预测编码的情况，还使用其他相机(相机m)的帧来进行动作预测编码的情况可以提高编码效率。此时，动作矢量相当于两个相机之间的视差。作为这种技术的例子具有专利文献1～7。

专利文献1：日本特开2001-186516号公报

专利文献2：日本特表2002-523943号公报

专利文献3：日本特开2002-300607号公报

专利文献4：日本特许3426668号公报

专利文献5：日本特开平06-98312号公报

专利文献6：日本特开平10-191394号公报

专利文献7：日本特开2000-23918号公报

但是，为了提高视差预测的效率，需要设定最合适的基准相机。所谓基准相机是指拍摄用于相机间的预测的帧的相机。并且，将除此以外的相机称为参照相机。以往停留于仅根据各视点相机的配置信息设定基准相机，没有提出过有效的设定基准。因而没有充分实现编码效率的提高。

图9、10是表示以往的技术的问题点的图。使用图9、10说明现有技术的问题点。在图9中，三个三角形分别表示相机C1、C2、C3。而且在图9中，排列在相机的移动方向上的三个椭圆表示被摄体。并且，相机C1、C2、C3分别一边向右方向移动一边在摄像方向上拍摄。图10是表示在各时刻T(n-1)、T(n)、T(n+1)各相机C1、C2、C3所拍摄的帧(a)～(i)的例子的图。

研究一下仅根据相机C1的时刻T(n-1)的帧(b)来预测作为相同相机的相机C1的时刻T(n)的帧(b)的情况。该情况下，右端的被摄体A没有拍摄到用于预测的帧(a)中。因此，预测效率降低。另一方面，该时刻T(n)的相机C2的帧(e)中拍摄有被摄体A。所以如果用该帧(e)来预测帧(b)，则预测效率提高。

再研究一下使用时刻T(n)的相机C1的帧(b)来视差预测相机C2的同时刻T(n)中的帧(e)的情况。该情况下，拍摄于帧(e)中的被摄体C的右侧部分没有拍摄于帧(b)中，因而预测效率不提高。这样，与预测效率在想要从帧(b)来视差预测帧(e)的情况下得到提高的情况不同，即使想要从帧(e)来视差预测帧(b)也不会提高预测效率。

这样，为了提高预测效率，需要根据该相机所拍摄的帧的状态来选择最适用于预测的帧。

发明内容

因而本发明的目的在于，解决这些课题，通过选择最适用于预测的帧，从而提供一种可以提高预测效率、编码效率的装置和方法。