[发明专利]图像处理装置、摄像装置以及图像处理方法

说明书

技术领域

本发明涉及对通过摇摄被摄体而得到的输入图像的晃动进行校正的图像处理装置、摄像装置以及图像处理方法。

背景技术

近些年，随着相机向多功能化发展，相机变得愈益简便。用户的需求转向了相机的功能所支持的摄影技术。摇摄是这样的摄影技术之一。摇摄是指，将透镜朝向欲在图像内的特定的位置将其像进行固定的被摄体，并在快门开放期间，配合该被摄体的运动而移动相机来进行拍摄，以使被摄体的位置不偏移。通过摇摄而得到的图像，被拍摄为背景晃动了在曝光期间相机被移动的部分而被摄体似乎是静止的。

其结果，通过摇摄而得到的图像，能够表现起飞降落或低空飞行中的飞机、或者运行中的列车、汽车或摩托车等运动快速的被摄体的速度感。

在用户用手移动相机来进行摇摄的情况下，多出现因大幅度的手的晃动而使被摄体的像也变得不鲜明的情况。尤其在用户不是手持摄影熟练的摄影师的情况下，摇摄是很难的摄影技术。即便是在利用独脚架或三脚架这样的器具来进行摇摄的情况下，也存在与被摄体的移动方向不同方向的晃动(纵向晃动)出现于被摄体的像的情况。

以往，提出了对通过摇摄(流し撮り)而得到的图像的晃动进行校正的方法(例如参照专利文献1)。图1是示出专利文献1所记载的以往的摄像装置的框图。

图1中，摄像装置具备摄像部11、控制系统部12、原因信息保存部13、检测部14、处理部15以及记录部16。摄像部11拍摄图像。控制系统部12驱动摄像部11。原因信息保存部13保存使图像劣化等的已知的变化原因信息(例如摄影光学系统的象差等)。检测部14由角速度传感器等构成，其检测作为图像劣化等的变化原因的变化原因信息。处理部15处理由摄像部11拍摄的图像。记录部16记录由处理部15处理后的图像。

并且，处理部15判定摄影图像是否是摇摄的摄影图像。并且，处理部15，在判定为摄影图像是摇摄的摄影图像的情况下，利用从原因信息保存部13中保存的变化原因信息中除去摇摄的方向的变化原因信息后的数据，来进行晃动的校正。

并且，以往还提出了基于连拍的多个图像来生成摇摄的图像的方法(例如参照专利文献2)。图2是示出专利文献2记载的以往的摄像装置的框图。

图2中，摄像装置具备摄像部21、背景获得部22、处理部23以及合成部24。摄像部21拍摄包括运动的被摄体的像的多个帧。背景获得部22计算多个帧间的图像的差分，以便从多个帧除去运动的被摄体的像。处理部23，通过对除去被摄体的像之后的图像进行模糊处理，从而能够生成使背景模糊的图像。合成部24，通过将被摄体的像重合在模糊处理的结果中，从而生成背景模糊且被摄体鲜明的图像。

专利文献1：(日本)特开2007-074269号公报

专利文献2：(日本)特开2006-339784号公报

然而，专利文献1所示的方法不能校正摇摄的方向的晃动。因此，在作为摇摄的对象的被摄体的像具有摇摄方向的晃动的情况下，不能有效地对晃动进行校正。

并且，专利文献2所示的方法，因为对不存在晃动的背景图像进行模糊处理，因此不能得到具有被摄体的移动方向上的晃动的背景图像。也就是说，专利文献2所示的方法，不能得到表现了被摄体的速度感的摇摄图像。

发明内容

本发明用于解决上述以往的课题，目的在于提供这样一种图像处理装置、摄像装置以及图像处理方法：对通过摇摄被摄体而得到的图像的晃动进行校正，从而能够生成被摄体的像的晃动被抑制且表现出被摄体的速度感的图像。

为了解决以往的课题，本发明的一个实施例所涉及的图像处理装置，对通过摇摄被摄体而得到的输入图像的晃动进行校正，该图像处理装置具备：晃动推定部，针对所述输入图像内的多个区域的每一个区域，推定晃动的方向以及晃动的大小；分簇部，基于被推定出的所述晃动的方向以及所述晃动的大小中的至少一方的相似性，对所述多个区域进行分簇(clusting)；被摄体区域确定部，从通过进行所述分簇而得到的多个簇中，确定与所述被摄体对应的至少一个簇；以及晃动校正部，基于被推定出的所述晃动的方向以及所述晃动的大小，对属于被确定的所述簇的区域的晃动进行校正。