[发明专利]图像处理装置、图像处理方法、图像处理程序、记录了图像处理程序的记录介质、及图像处理用处理器

说明书

技术领域

本发明涉及利用可佩戴式终端拍摄的图像的修正技术。

背景技术

近年来，能够把日常生活持续记录为生活日志(life log)的可佩戴式终端 已经问世。所说可佩戴式终端，指利用者始终佩戴使用的终端装置，该终 端装置具有摄像机或麦克风，在利用者不进行操作时也始终进行记录。

专利文献1公开了一种可佩戴式终端，根据每个事件对由摄像机或麦 克风获取到的信息定义重要等级并记录，由此辅助利用者的记忆和回忆。 但是，可佩戴式终端由于始终佩戴并始终进行拍摄的使用形式，存在摄像 图像的画质伴随利用者的运动而明显下降的问题。尤其在可佩戴式终端相 对水平面倾斜的状态下进行拍摄时，存在摄像图像倾斜的问题。

另一方面，专利文献2公开了一种方法，检测存在于摄像图像的上部 的线段，根据这些线段的倾斜角来推测图像整体的倾斜角，并修正摄像图 像的倾斜。专利文献2公开的图像修正方法以摄影者在基本直立的状态下 进行拍摄为前提，当在这种状态下进行拍摄时，可以预期图像下部受到地 面或影子的影响，成为不容易根据线段来推测水平方向的区域，而图像上 部成为容易检测构造物等的水平方向的区域。主动利用摄像图像的这种特 征来修正图像是专利文献2的方法的特征。

专利文献1：日本特开2003-304486号公报

专利文献2：日本专利第3676360号公报

但是，在把专利文献2公开的图像修正适用于利用可佩戴式终端拍摄 的摄像图像的情况下，不一定能够获得预期的修正效果。在可佩戴式终端 中，由于利用者始终佩戴着并始终进行拍摄，所以摄像图像不限于能够只 划分为上部和下部来进行分析的简单构图，专利文献2的方法还不够。另 外，在专利文献2的方法中，没有考虑到不能获得检测图像的倾斜所需的 充足特征的情况，由于在这种情况下也使用推测到的倾斜角来机械地进行 图像修正，所以也存在图像的倾斜反而恶化的情况。

上述问题回归到如何从图像中选择适合于倾斜检测的区域的问题。即， 在根据存在于图像中的线段的倾斜来推测图像的倾斜的情况下，如何判别 线段的朝向一致的区域和线段的朝向不一致的区域成为问题。专利文献2 的方法只是根据经验单纯地把区域划分为上下的区域，所以导致适用范围 受到限制。

发明内容

本发明提供一种图像处理装置，对于任意的摄像图像，尤其对于像利 用可佩戴式终端拍摄的图像那样未必被直立拍摄的摄像图像，通过分析图 像来推测倾斜角，并修正图像的倾斜。

其中，所说图像中的区域，指由构成图像的像素中的一部分构成的像 素块。

为了解决上述问题，本发明的图像处理装置，使用构成摄像图像的多 个像素块的亮度信息来进行摄像图像的修正，其特征在于，各个像素块是 预先确定了纵向和横向的像素数的像素的集合，所述图像处理装置具有： 判定单元，对于每个像素块，将像素块内的像素的位置信息和亮度信息代 入预定的运算式进行运算，获得像素块中的纹理，并通过该纹理的方向性 判定该像素块是否适合于推测像素块内图像的倾斜角；选择单元，选择由 所述判定单元判定为适合于推测像素块内图像的倾斜角的像素块；和修正 单元，根据所选择的像素块，使用所述运算的结果，求出摄像图像相对基 准轴的倾斜角，并进行修正。

发明效果

根据上述结构的图像处理装置，把所输入的图像划分为区域，在划分 后的区域中，判定纹理(亮度变化)具有什么样的方向性，根据该判定只 选择纹理具有单一方向性的区域，将所选择的区域作为对象来推测图像的 倾斜角。

其中，所说纹理指作为图像中的边缘强度较大的像素的集合而形成的 图案，所说纹理具有单一方向性，指通过将邻接的边缘强度较大的像素连 接而形成的线段中、大部分朝向某个特定的方向的周围。纹理能够通过对 图像中包含的像素的位置信息和亮度信息进行运算而获得。在纹理具有单 一方向性的情况下，可以认为在区域内包含建筑物等构造物的边缘，其方 向是水平方向或垂直方向的可能性比较大，所以在这些区域中分析像亮度 那样的像素信息，由此推测图像的倾斜角。