[发明专利]图像处理装置以及图像处理方法

说明书

技术领域

本发明涉及图像处理装置以及图像处理方法，尤其涉及图像修正技术。

背景技术

近年来，在照相机、摄像机等摄影装置中的手抖修正技术中，提出了对图像的倾斜进行修正的技术。

在专利文献1中公开了如下方法：对摄像装置设置加速度传感器，通过用加速度传感器测量重力加速度，检测摄像装置相对于地轴的倾斜，根据检测到的倾斜角度，对拍摄的图像的倾斜进行修正。此外，在专利文献2中公开了如下方法：对存在于摄像图像的上部的线段进行检测，根据这些线段的倾斜角，推定图像整体的倾斜角，对摄像图像的倾斜进行修正。此外，在专利文献3中公开了将传感器和图像处理进行组合来使用从而提高倾斜角度计算的精度的方法。

进而，在专利文献4中公开了如下方法：在利用图像处理来计算图像的倾斜角度时，将图像分割为小块，判断各个块中的纹理(texture)所示的方向性，仅将该纹理具有单一方向性的区域作为对象来计算倾斜角度。该方法与仅根据图像中的构造物(structure)来提取倾斜信息的方法等效，有利于倾斜角度计算的精度和稳定性的提高。

但是，在专利文献1所公开的使用传感器的方式中，传感器的输出值包含惯性噪声(inertial noise)或其他轴灵敏度等变动成分，因此在摄像机等摄影者一边移动一边进行摄像的情况下难以进行高精度的倾斜修正。此外，在专利文献2中，所摄像的图像的构图有限制，在一般的使用状况下并不实用。

在专利文献3及专利文献4中，为了弥补上述缺点，提出了将传感器和图像处理进行组合来使用的方法。即，公开了利用传感器信息从多个倾斜角度候选之中选择某个满足一定的基准的角度成分的方法，但是在传感器的输出值中叠加有变动成分的情况下，无法避免其精度下降。此外，在专利文献4中公开了预先去除在推定倾斜角度时可能成为变动成分的来自非构造物的倾斜角度信息，来实现其精度提高的方式，但是在来自构造物的倾斜角度信息本身成为变动成分的情况下无法呈现效果。

图1A、图1B是用于说明来自构造物的倾斜角度信息成为变动成分的一例的图。图1A是使用如鱼眼镜头那样的广角镜头所拍摄的影像。通常，广角拍摄的影像中存在失真，因此为了获得正确的图像处理结果，需要通过校准或从镜头的投影方式进行逆运算，来剪切广角摄影图像的一部分区域而制作失真少的影像。图1B是剪切图1A的中心附近并进行失真修正而得到的图像的例子。如图1A、图1B那样的构图中可知，构造物的水平线从近前向进深方向延伸，本来是平行线的线向消失点收敛。此外，提供正确的倾斜角度信息的构造物的垂直线比水平线相对少，因此难以检测出正确的倾斜角度信息。图2是针对图1B所示的图像的每个像素的亮度梯度，横轴取角度、纵轴取频度而得到的角度直方图。假设该图像倾斜了角度θ时，本来优选的是θ的bin的频数取最频值，但可知根据构造物的水平线得到的角度的bin的频数超过该最频值(mode value)。该特性尤其因广角影像而变得显著，因此通过专利文献4中公开的预先去除非构造物的方法不可能解决。

在专利文献5中公开了如下方法：将消失点候选和从图像中提取的边缘用线段连接，制作将满足规定基准的线段的倾斜角度的频度累计而得到的直方图，一边逐个改变消失点候选一边求出该直方图，将表示最大的频度的消失点候选作为消失点。若决定了该消失点，就能够确定构造物的水平线，能够去除来自构造物的变动成分。但是，若利用专利文献5中公开的方法，则有可能还去除构造物的垂直线。此外，必须预先确定规定的基准，在无法设想以怎样的倾斜角度进行摄影的情况下无法使用。

发明内容

本发明的目的在于，根据从图像得到的边缘成分及其倾斜角度，选择能够在图像的倾斜角度的推定中使用的信息，由此能够进行倾斜角度推定，并对图像的倾斜进行修正。

现有技术文献

专利文献

专利文献1：日本特开2006-245726号公报

专利文献2：日本专利第3676360号公报

专利文献3：国际公开第2009-001512号

专利文献4：国际公开第2009-008174号

专利文献5：日本特开昭63-106875号公报

发明概要