[发明专利]局部特征量算出装置和方法以及对应点搜索装置和方法

说明书

技术领域

本发明涉及用于算出图像的局部特征量的局部特征量算出装置和局部特征量算出方法、以及使用了局部特征量算出装置的对应点搜索装置和使用了局部特征量算出方法的对应点搜索方法。

背景技术

以往，在图像处理领域中，多会使用对两个图像之间的对应点进行搜索的对应点搜索处理。图22是表示两个图像之间的对应点的图。这样，通过对多个图像之间的对应点进行搜索，能够从图像数据库中检索与输入图像对应的图像、或者使以不同的视点拍摄到的被摄体的多个图像相关联地还原该被摄体的三维形状。

为了搜索两个图像之间的对应点，可以使用局部特征量。局部特征量是指使关注像素的周边区域的纹理图案(texture pattern)带有特征的量，以D维的向量来表示。周边的纹理图案相似的像素具有类似的局部特征量。因此，例如通过对第一图像和第二图像各自的像素求出局部特征量，并对这些特征量进行比较，能够判断第一图像的该像素与第二图像的该像素是否为对应的像素(对应点)。

图23是用于说明使用了局部特征量的图像检索的图。能够通过使用了局部特征量的对应点搜索来如以下那样进行图像检索(例如，参照非专利文献1)。图像检索的目的在于，从图像数据库中检索与输入图像对应的图像。首先，对图像数据库中登记的多个图像分别抽取各自的特征点，求出各特征点的局部特征量。当成为检索对象的图像(输入图像)被输入后，也从该输入图像抽取特征点，对各特征点求出局部特征量。然后，关注输入图像的多个特征点中的一个特征点，从图像数据库中检索与该关注特征点所具有的局部特征量最接近的局部特征量。然后，对找出的局部特征量所属的图像投一票。对输入图像中的全部特征点反复进行该处理，将得到最多投票的图像作为检索结果。

另外，通过使用了局部特征量的对应点搜索，如以下那样能够由以不同的视点拍摄到的多个图像还原三维形状(例如，参照非专利文献2)。首先，从由多个摄像位置拍摄摄像对象而得到多个图像中选择两个图像，求出该两个图像之间的对应点。对多个图像的全部组合进行该对应点搜索。接着，将对应点的信息作为线索，通过捆绑调整(bundle adjustment，集束调整)来求出各图像的摄像位置参数以及摄像对象的形状参数。

作为求出局部特征量的代表方法，已知SIFT(Scale Invariant FeatureTransform：尺度不变特征转换)(例如参照非专利文献3和专利文献1)、SURF(Speeded Up Robust Features：快速鲁棒特征)(例如参照非专利文献4)。在SIFT和SURF中，即使图像旋转或者图像的尺度不同，也能够计算这些变化中不变(不受影响)的局部特征量。因而，在搜索两个图像之间的对应点时，即使图像旋转或者图像的尺度不同，也能够适当地求出图像之间的对应点。

以下，以SIFT为例说明局部特征量的算出方法。图24是基于SIFT的局部特征量算出处理的流程图。另外，图25～27是用于说明基于SIFT的局部特征量算出处理的图。在局部特征量算出处理中，首先，如图25的(a)所示，从图像TP中抽取特征点p以及以该特征点为中心设定的附近区域NR(步骤S71)。在存在多个特征点p的情况下，对各个特征点p设定附近区域NR。在该特征点p以及附近区域NR的抽取处理中，通过DoG滤波器，与特征点p的位置一起输出图像的尺度信息。通过根据该尺度信息来切出以特征点p为中心的附近区域NR，实现尺度不变性。

接着，求出主轴的方向(步骤S72)。在主轴的计算处理中，对针对各特征点p设定的各个附近区域NR应用以下处理。首先，如图25的(c)、(d)所示，针对附近区域NR内的各像素计算x方向和y方向的微分值，求出边缘强度m(x，y)以及边缘梯度(斜率)方向θ(x，y)。在此，通过以特征点p为中心的高斯窗G(x，y，σ)(参照图25的(b))对边缘强度m(x，y)进行加权，得到加权边缘强度mhat(x，y)。由此，视为越是附近区域NR中的中央的像素，则越具有重要的信息。

接着，生成边缘梯度方向直方图。具体而言，将各像素的边缘梯度方向量化为36种，对符合的方向进行加权边缘强度mhat(x，y)投票。这样，通过对附近区域NR中的所有像素进行边缘梯度方向的量化以及加权边缘强度的投票，从而得到如图25的(e)所示的边缘梯度方向直方图。接着，从该梯度方向直方图中检测出最大值，使用具有最大值的方向的左右的值来拟合二次函数，将与其极大点对应的方向作为主轴的方向v。