[发明专利]图像处理装置和方法

说明书

技术领域

本发明涉及图像处理装置和方法，更具体而言涉及被配置为使得可以提高编码了多视域图像(multiview image)的码流(codestream)的便利性的图像处理装置和方法。

背景技术

近来，支持立体视觉(也称为3D图像显示)的电影已经在普及了。例如，能够进行3D显示的电影(也称为3D电影)已经在被积极地制作并且变得与仅能够进行传统2D显示的电影(也称为2D电影)有很大差别。在3D电影的情况下，内容(图像数据等等)根据MPEG-4 AVC格式的MVC(多视域视频编码)修正被高效压缩并被记录到诸如蓝光盘(Blu-ray Disc，注册商标)之类的记录介质。

用户能够在家中通过利用消费类蓝光盘播放器重放内容并在佩戴立体眼镜(也称为3D眼镜)的同时观看它来欣赏3D电影。

这种3D电影和其他立体内容(3D内容)正在迅速普及。3D内容中的主流图像是利用人眼的双眼视差的立体图像(stereo image)。这种图像通过分别向用户的两眼示出左眼图像和右眼图像而使得用户感知到视差并且三维地感知到对象。

然而，利用上述的使用双眼视差的立体视觉，不能实现从任意方向的立体视觉。实现这一点要求从对象图像中提取深度数据(depth_map)。

关于利用图像处理/分析技术从图像数据中自动提取大致的深度信息的研究正被蓬勃进行着(例如，参见NPL 1和NPL 2)。这种技术，以及使得可以比较容易地提取来自多个相机的图像中的对象的深度信息的技术，提供了一个立足点，基于该立足点，不仅能够从双眼视点生成立体图像，而且能够从多个自由视点生成立体图像。

然而，虽然双眼立体图像的基本数据量是有限的，但多个视点的图像数据及其深度数据总计起来可产生巨大数据量。因此，尽可能高效地压缩这种数据变得很重要。

例如，在立体图像的情况下，存在通过分别对左视域图像和右视域图像进行编码而生成的两个编码码流。类似地，在多视域的情况下，存在与视域数目相等数目的编码码流。从而，将这多个码流合并成单个编码码流已被认为是一种方法。这样做可以提高编码效率。

同时，JPEG 2000是一种用于静止图像的ISO国际标准，其不仅被实现为数字影院标准编解码器，而且也被广泛用于安保、档案、医疗成像、广播等等。JPEG 2000的丰富功能之一是可扩展性(scalability)。此功能将单个编码码流划分成属于同一类别的多个流。结果，通过重新布置编码码流中的渐进(progression)(顺序)，可以实现分辨率和图像质量等等的可扩展性(解码图像的可扩展性)。因此，可以将码流用在更多样的应用中，从而提高了码流的便利性。

引文列表

非专利文献

NPL 1：″Fast Approximate Energy Minimization via Graph Cuts，″IEEE Transactions on Pattern Analysis and Machine Intelligence，Vol.23，No.11，November 2001。

NPL 2：″Stereo Matching Using Belief Propagation，″IEEE Transactions on Pattern Analysis and Machine Intelligence，Vol.25，No.7，July 2003。

发明内容

技术问题

然而，对于合并多视域码流的情况，尚未定义作为用于实现解码图像可扩展性的数据结构的渐进。因此，在合并多视域码流以生成单个码流的情况下，存在不能使用渐进功能并且不能提高码流便利性的危险。

考虑到这种情况而提出的本发明的一个目的是通过为对多视域图像编码并生成单个码流的情况定义渐进来使得可以提高编码了多视域图像的码流的便利性。

解决问题的方案

本发明的一个方面是一种图像处理装置，设有：分析装置，用于分析编码了图像的多视域码流所拥有的渐进结构，即用于实现解码图像可扩展性的数据结构，确定装置，用于根据分析装置给出的分析结果确定多视域码流的合并后渐进结构，以及合并装置，用于根据由确定装置确定的合并后渐进结构合并多视域码流，并且生成具有渐进结构的单个码流。

码流可具有针对层、分辨率级别、成分和位置的渐进结构。

确定装置可确定合并后渐进结构以使得针对视域的渐进结构被添加到由分析装置分析出的渐进结构。