[发明专利]图像处理装置、图像处理方法、程序以及集成电路

说明书

技术领域

本发明涉及从图像中检测出指定的物体并进行识别的图像处理装置以及图像处理方法。

背景技术

近些年，随着摄像元件的进化，数字静像相机以及数字摄像机的像素数越益增加。通过增加像素数，拍摄者能够以高分辨率以及广角来如实地拍摄所看到的风景。这样的高分辨率、广角的图像称为具有约10亿像素的兆像素图像，而有关兆像素图像的研究、开发在进行。

在拍摄时与在阅览时兆像素图像的课题不同。在拍摄时存在因手抖动而致图像晃动或调焦困难等问题。但是，因为兆像素图像是广角图像，因此只要能够将其固定而拍摄，就能够回避拍摄时的课题。

而在阅览时，因为像素数多，因此存在难以从兆像素图像中找出欲看之物这一课题。如果要一次阅览图像的全体，则显示器变大，需要专用的系统。并且，在利用一般使用的显示器的情况下，因为图像的缩小率变大，因此难以找到欲看之物体。

在这样的背景下，这样一种需求越来越大，即：针对作为像素数多的图像的兆像素图像，通过从图像检测物体，自动地找出欲看之物体，从而简便地进行阅览。

以往，作为从图像检测物体的方法，存在例如利用专利文献1的称为SIFT(Scale-Invariant Feature Transform：尺度不变特征变换)或者非专利文献1的称为SURF(Speeded Up Robust Features：加速稳健特征)的特征描述符的方法。

SIFT是进行特征点的检测以及特征量的描述的算法。简单地叙述该算法。SIFT的处理包括进行尺度(scale)以及关键点(keypoint)的检测的处理(detection)和进行指定方向(Orientation)的算出以及特征量的描述的处理(div)。通过DoG(Difference OfGaussian：高斯差分)处理来检测尺度和关键点。然后，为了得到对于旋转保持不变的特征而求出关键点的指定方向。最后，基于指定方向来描述关键点的特征量。以下进行详细的叙述。

为了检测尺度以及关键点，进行DoG处理。DoG处理是分别算出两个利用分散系数不同的两个高斯滤波器来实施了滤波处理的图像，并求出其差分的处理。该差分图像称为DoG图像。通过利用多个分散系数进行滤波处理，从而得到多个DoG图像。针对某一点，观测改变分散系数而生成的DoG图像的输出值，则该输出值存在极值。该极值具有这样一种关系，即：如果图像的大小变成2倍，则与分散的大小变成2倍时的DoG图像的输出值对应。

这样，在SIFT中，能够利用极值来描述相对的尺度变化。因此，即使不知道实际的物体的大小，仅通过从DoG图像求出极值，就能够知道物体的尺度。这样的特征，称为对于放大或缩小保持不变的特征。在此，因为得到的极值是多个，因此通过对比或亮度值的曲率来排除对于识别无效的极值。

然后，说明指定方向的算出。指定方向是指求出取得了关键点的图像的梯度强度和梯度方向的处理。根据关键点的周边的梯度强度和梯度方向来求出加权直方图。例如，将梯度方向划分为36个方向来构筑直方图。此时，将最大值到最大值的80％以上的方向成分作为关键点的指定方向来分配。

特征量的描述中利用关键点周边的梯度信息。首先，为了使关键点周边的区域与关键点方向的坐标轴一致而旋转关键点周边的区域，以使关键点的方向成为垂直方向。将旋转后的区域分为4×4＝16块，按照每个块作成8方向(每45度)的梯度方向直方图。因为以使坐标轴与指定方向的方向一致的区域来描述特征，因此其成为对于旋转保持不变的特征量。

有通过上述处理来从图像求出SIFT描述符的方法，但是存在DoG算出处理的处理量多这样的课题。因此，提出了SURF特征量。

SURF描述符不是求出DoG图像的极值，而是通过Fast-Hessian Detector来求出极值。Fast-Hessian Detector是将海森矩阵(Hessian matrix)以矩形进行近似而得到的。

利用不同分辨率的海森矩阵求出矩阵式。此时，为了求出海森矩阵，通过利用积分图(Integral Image)，能够以4个点的像素的加减运算来处理所有大小的矩形的总和。

说明积分图。为了容易理解，在一维上进行说明。设定一维的图像如图27A那样地被保存。此时，按如下所述来作成积分图。某个像素i的积分图的像素值，如图27B所示，通过将从第1个像素到第(i-1)个像素为止的像素的像素值相加而得到的值，与第i个像素的像素值相加，来算出。第二个要素到第六个要素为止的和，成为积分图的第六个要素与第一个要素之差(图27C)。