[发明专利]图像处理装置及图像处理方法

说明书

技术领域

本发明涉及根据在多个摄影状态下摄影的多个摄影图像来进行被摄体距离的计测和HDR图像的生成等图像处理的图像处理装置及图像处理方法。

背景技术

在摄像机的摄影中，如果能够与对被摄体摄影而得到的摄影图像同时计测三维场景的进深、即表示从摄像机到被摄体的距离的被摄体距离，则能够在图像显示、变换、识别等中实现多种应用。作为使用被摄体距离的应用，例如根据1个摄影图像以及与该摄影图像对应的被摄体距离，利用三角测距的原理，能够虚拟地生成从不同的视点观察的图像，能够生成立体的或与多视点对应的三维图像。另外，如果基于被摄体距离进行摄影图像的区域分割，则还能够仅切割出存在于特定的被摄体距离处的被摄体或者进行画质调整。

非接触地计测被摄体距离的主要方式可以大体分为以下两种。

第一个方法是以下的主动的方法：照射红外线、超声波、激光等，基于到反射波返回为止的时间、反射波的角度等，计测被摄体距离。一般而言，在使用该方法的情况下，虽然在被摄体距较近时能够高精度地计测，但存在需要通常的摄像机所不需要的主动的照射/受光设备的问题。另外，在被摄体位于远方时，存在以下问题：如果照射设备的输出等级较低，则到达被摄体的照射光变弱，被摄体距离的计测精度降低。另一方面，产生以下问题：如果照射设备的输出等级较高，则消耗电力增大。进而，在使用激光的情况下，如果照射设备的输出等级较高，则有可能产生安全性的问题，因此存在能够使用的环境受到限制的问题。

另一方面，第二个方法是仅使用由摄像机摄影的摄影图像来计测被摄体距离的被动的方法。在被动的方法中也存在多种方法，其中之一是利用摄影图像中产生的虚化量的相关值的、被称为散焦测深（Depth from Defocus，以下称为DFD）的方法。一般而言，摄影图像中产生的虚化量按照摄影时的聚焦状态（透镜的对焦状态）与被摄体距离的关系而在每个摄像机中唯一确定。在DFD中利用该特性，通过预先对位于已知的被摄体距离的被摄体改变聚焦状态来进行摄影，事先计测被摄体距离与摄影图像中产生的虚化量的相关值的关系。由此，如果在实际的摄影中以多个聚焦状态进行摄影，通过计算图像间的虚化量的相关值，能够计测被摄体距离（例如参照非专利文献1）。

作为以多个聚焦状态对图像进行摄影的方法，如非专利文献2所记载，有以下方法：在将入射到摄像机的光分离为多个之后，利用分别配置在不同的距离的摄像元件受光。在该方法中，能够同时对聚焦状态不同的多个图像进行摄影，因此虽然在图像间不产生摄影定时的偏差，但存在以下问题：需要使用多个摄像元件，而且需要配置为与摄像元件的距离不同这样的特殊构成。

另一方面，作为以使用单板的摄像元件的摄像机构成来对多个聚焦状态的图像进行摄影的方法，有利用以自动聚焦等实现的聚焦调整机构的方法。该方法控制聚焦调整机构依次对多个图像进行摄影。在该情况下，无需追加新的设备，仅通过适当地控制聚焦调整机构和摄影定时，就能够对多个聚焦状态的图像进行，并计测被摄体距离。

在先技术文献

专利文献

专利文献1：特开2010－249794号公报

非专利文献

非专利文献1：M.Subbarao and G.Surya，“Depth from Defocus：A Spatial Domain Approach，”International Journal of Computer Vision，Vol.13、No.3、pp.271－294、1994

非专利文献2：松山隆司、竹村岳：“使用多重焦点图像的实时三维距离计测”，信息处理学会论文志，Vol.39、No.7、pp.2149－2158、1998.7.

非专利文献3：日浦慎作、松山隆司，“具有构造化瞳的多重焦点距离图像传感器”，电子信息通信学会论文志，Vol.J82－D－II、No.11、pp.1912－1920、1999.11.

发明的概要

发明所要解决的课题

但是，在控制聚焦调整机构而依次对多个摄影图像进行摄影的方法中，由于多个摄影图像的摄影定时不同，在被摄体移动的情况或摄像机的摄影方向变化的情况下，在摄影图像间产生被摄体的位置偏差。在使用DFD的被摄体距离的计测中，以被摄体以及摄像机不移动、即多个摄影图像间不产生被摄体的位置偏差为前提，在以多个聚焦状态摄影的图像间，比较与相同被摄体对应的虚化量的相关值。因此，在使用基于多个摄影图像的DFD的被摄体距离的计测中，如果产生被摄体的位置偏差，则无法准确进行该比较，存在被摄体距离的计测精度低下的问题。