[发明专利]图像编码装置

说明书

技术领域

本发明涉及用于对在多个视点获得的图像进行编码的图像编码装置。

背景技术

近年来，由双镜头照相机捕获的三维视频内容已开始普及。作为对捕获的多视点视频进行压缩编码的技术，已知有H.264多视图编码（下文中称为H.264MVC）。H.264MVC是遵守H.264的编码方法的扩展，并且用作蓝光盘（Blu-ray Disc）的3D标准。在H.264MVC中，除了使用在不同时间于同一视点捕获的帧之间的预测进行“帧间预测编码”之外，还能够使用在同一时间的不同视点之间的预测进行“视点间预测编码”。为了进行视点间预测编码，需要完成对作为参照源的视点处的参照图像的局部解码。由于局部解码处理需要一定时间，因此当进行视点间预测编码时，出现延迟。

日本专利特开2009-505607号公报公开了如下的方法，即使用各种单位使照相机在各个视点获得的图像交错（interleaving），并且将这些图像作为一个图像流进行编码。

日本专利特开2008-182669号公报公开了如下的技术，即基于相邻帧与补偿帧之间的相关性，而采用具有最小代码量的图片-照相机预测结构，以使得多视点视频编码中的信息量最小化。

日本专利特开2008-182669号公报还公开了如下的方法，即当对各个视点处的图像进行并行解码时，计算视点之间必需的解码开始时间差作为延迟时间，并通知给解码侧，以在无故障的情况下对参照区域进行参照。

为了在对多视点图像进行实时编码时，以高精度从作为视点间预测参照源的图像中搜索参照位置矢量，需要足够宽的参照区域。为此，需要把要编码的图像数据延迟一帧或者几十行，这导致编码延迟和成本的增加。

为了减少用于临时保存视点间预测的参照区域的图像的缓冲器的数量，并且缩短由于该处理而产生的延迟时间，而对该参照区域进行限制，由此使压缩编码的效率显著降低。

针对该问题，日本专利特开2008-182669号公报优先着重于减少代码量，而未考虑缩短编码延迟。此外，日本专利特开2008-182669号公报试图通过向解码侧通知不导致故障的最短延迟，来防止不必要的延迟，但是未提供使用视点之间的视频的相关性来减小延迟量的布置。

发明内容

本发明是为克服传统缺点而做出的。

本发明提供一种用于对多视点图像进行编码的图像编码装置，该图像编码装置包括：N个编码器，其以由多个像素构成的块为单位，从捕获的帧的左上位置开始向右下方向进行光栅扫描，并且生成各个块的编码数据；以及N个图像捕获单元的一维阵列，所述N个图像捕获单元分别对应于所述N个编码器，并且被布置为使得所述一维阵列的方向对应于所述光栅扫描中的一行，其中，如果沿所述一维阵列的方向从右端到左端依次将所述N个图像捕获单元定义为第一、第二、…和第N图像捕获单元，并且所述N个编码器被定义为第一、第二、…和第N编码器，以分别对应于所述第一、第二、…和第N图像捕获单元，则第i（i>1）编码器包括：参照单元，其在视点间预测中，参照由位于第i图像捕获单元的右侧的至少一个图像捕获单元在同一时间获得的帧；以及延迟单元，其将来自所述第i图像捕获单元的帧延迟以视点间预测所需的时间。

根据本发明，能够在不降低预测编码的预测性能的情况下，显著减少用于编码延迟和数据延迟的缓冲器的数量。

通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1是示出照相机在两个视点获得的无限远距离处的被摄体的图像相同的情况的图；

图2是示出被划分为作为编码单位的块的、无限远距离处的虚拟区域的图；

图3A和3B是各自示出同一位置处的块的编码定时之间的关系的图；

图4A和4B是各自示出被摄体朝向照相机的移动与在图像上的移动方向之间的关系的图；

图5是示出根据本发明的第一实施例的多视点图像编码装置的结构的框图；

图6是示出附近物体造成干扰、从而在远距离处产生照相机的盲点的情况的图；以及

图7是示出根据本发明的第二实施例的多视点图像编码装置的结构的框图。

具体实施方式

下面，将参照附图详细描述本发明的实施例。

使用一个视点的一般运动图像编码包括三种预测模式，即所谓的I、P和B预测模式。在这些模式中，B模式预测参照在时间上未来的帧，这导致几帧的长编码延迟。