[发明专利]图像处理设备、图像处理方法和程序

说明书

技术领域

本发明涉及图像处理设备，并且具体涉及执行用于运动图像的立体观察(stereoscopy)的图像处理的图像处理设备、图像处理方法、以及用于使得计算机执行程序的程序。

背景技术

迄今，已经提出各种用于显示立体图像的立体图像显示方法，其中利用左右眼的视差来获得三维感。例如，已经提出了这样的立体图像显示方法，其中显示由左眼观看图像和右眼观看图像配置的立体图像，并且使用偏光眼镜来立体地观看该立体图像。此外，近年来，已经提出了这样的立体图像显示方法，其中可立体地观看图像，而不用使用偏光眼镜。例如，已经提出了如视差屏障方法、双凸透镜方法、多视图方法(如超多视图)等的立体图像显示方法。

此外，已经提出了如数字照相机和数字摄像机(集成了相机的记录器)等的成像装置，其将用于显示立体图像的运动图像记录为图像数据。例如，已经提出了这样的光盘记录设备，其将用于显示立体图像的左眼观看图像和右眼观看图像记录为视频流(例如，日本未审专利申请公开No.2008-67393(图1))。

发明内容

根据上述现有技术，当播放记录的运动图像时，构成运动图像的图像可顺序显示为立体图像。然而，在记录用于利用上述现有技术显示立体图像的运动图像的图像数据的情况下，例如，顺序记录其中完全同时记录几乎相同被摄体的左眼观看图像和右眼观看图像。在这样记录的情况下，与记录用于平面图像(二维图像运动图像)的图像数据相比，涉及立体图像的图像数据的存储量大。

现在，近年来，成像装置的尺寸正变得更小，以便允许用户更容易地携带该装置，因此成像装置中的记录介质的尺寸也正在减小。例如，可能存在这样的情况，其中用户在旅行时携带这样的成像装置，并且在旅行中各个地点记录涉及立体图像的图像数据。然而，这种成像装置中的记录介质常常具有用于存储各种数据的小的存储容量。因此，可以假设当记录涉及立体图像的图像数据时，用于记录的时间量将更短。因此，减小用于显示立体图像的运动图像的存储大小是重要的。

发现已经期望适当地记录用于显示立体图像的运动图像。

根据本发明实施例，一种图像处理装置，包括：成像单元，配置为通过对被摄体成像而生成成像图像；深度信息生成单元，配置为生成关于所述成像图像的深度信息；图像处理单元，配置为：基于所述深度信息，从所述成像图像提取包括所述成像图像中包括的被摄体中的特定被摄体和所述被摄体的周围区域的对象区域的图像；以及基于所述提取的图像，生成用于显示立体图像的差图像，在所述立体图像中，立体地观看所述成像图像中包括的所述被摄体；以及记录控制单元，配置为生成其中对应于所述成像图像的数据和对应于所述差图像的数据相关的数据流；以及将所述数据流记录为运动图像文件。根据本发明实施例的图像处理方法以及用于使得计算机执行图像处理方法的程序产生与图像处理装置相同的效果。其产生了下述操作：基于深度信息，从成像图像提取包括所述成像图像中包括的被摄体中的特定被摄体和所述被摄体的周围区域的对象区域的图像，基于所述提取的图像，生成差图像；生成其中对应于所述成像图像的数据和对应于所述差图像的数据相关的数据流；以及将所述数据流记录为运动图像文件。

所述图像处理单元可基于所述深度信息，确定距所述成像图像的成像位置的预定范围内存在的被摄体为所述特定被摄体；基于关于所述特定被摄体的所述深度信息，确定所述特定被摄体的所述成像图像的水平方向上的所述周围区域；以及从所述成像图像提取所述对象区域的图像。这产生了下述效果：基于深度信息确定被摄体，基于关于特定被摄体的深度信息，确定特定被摄体的成像图像的水平方向的周围区域，并从成像图像提取特定区域的图像。

所述成像单元可生成用于显示所述立体图像的第一成像图像和第二成像图像，其中所述深度信息生成单元生成关于所述第二成像图像的深度信息；所述图像处理单元基于关于所述第二成像图像的所述深度信息，从所述第二图像提取包括所述第二成像图像中包括的被摄体中的特定被摄体、以及所述被摄体的周围区域的对象区域；以及基于所述提取的图像，生成所述差图像；并且所述记录控制单元通过将对应于所述第一成像图像的数据和对应于所述差图像的数据相关，生成所述数据流。这产生了下述效果：生成第一成像图像和第二成像图像，生成关于第二成像图像的深度信息，基于所述深度信息从第二图像提取对象区域，基于提取的图像生成差图像，并且通过将对应于第一成像图像的数据和对应于差图像的数据相关，生成数据流。

所述记录控制单元可生成所述数据流，其包括指示要包括对应于所述差图像的数据的立体图像标识信息。这产生了生成包括立体图像标识信息的数据流的效果。