[发明专利]图像处理装置、图像处理方法及程序

说明书

技术领域

本发明涉及利用数字照相机、视频摄像机、可佩戴式摄像机等拍摄的影像的校正技术。

背景技术

例如，有通过图像处理对使用鱼眼光学系统等超广角光学系统拍摄的影像的抖动（图像间的位置偏移）进行校正的方法。该方法是使用在时间上连续拍摄的两张图像，利用在图像间共同摄入的对象的信息来检测以MPEG技术等为代表的运动矢量，由此估计帧间（图像间）的摄像机的抖动并进行校正的方法。在这样利用运动矢量的方法中，基于利用图像的区域来检测运动矢量这种算法的性质，在精度和计算成本方面存在限制。因此，能够检测的摄像机的抖动的大小的上限被事前设定，针对例如在步行时拍摄的影像和以无取景器方式拍摄的影像所包含的抖动那样较大的抖动，无法进行检测。即，利用运动矢量的方法存在具有无法处理的大小的抖动、而且对这种大小的抖动无法进行校正的问题。

与此相对，作为能够进行利用运动矢量的方法所无法处理的大小的抖动的校正的方式，有基于特征点的匹配方法。该方法利用了共同存在于在时间上连续拍摄的两张图像间的被摄体上的几个特征性的点。

在此，对基于特征点的匹配方法（也记述为特征点匹配）进行具体说明。

图1A～图1D是用于说明基于特征点的匹配方法的图。下面，将两张图像中在时间上先拍摄的图像表述为图像t－1，将在时间上后拍摄的图像表述为图像t。

图1A是表示图像t－1和在时间上比图像t－1靠后拍摄的图像t的图。图1B是表示从图1A所示的图像t－1、图像t抽取的特征点的图。图1C是表示从图1B所示的图像t－1、图像t抽取的特征点的性质的类型的图。图1D是表示从图1B所示的图像t－1、图像t抽取的特征点的匹配的图。其中，特征点是指如上所述通过图像处理能够检测到的图像上的特征性的点。

图1A所示的图像t－1、图像t上的对比度较高的像素被选择为图1B所示的特征点。如图1B所示，位于诸如对比度极高的角落的特征点在图像间（图像t－1和图像t）容易被共同抽取出来，而对比度不那么高的特征点在图像间（图像t－1和图像t）不容易被共同抽取出来。

图1B所示的特征点包括：能够从在图像间（图像t－1和图像t）共同摄入的区域中得到的特征点（图1C中用○示出的特征点）；虽然能够从在图像间（图像t－1和图像t）共同摄入的区域中得到，但是位置在图像间（图像t－1和图像t）发生变化的特征点（图1C中用△示出的特征点）。另外，在图1B所示的特征点中也包括能够从在图像间（图像t－1和图像t）未共同摄入的区域中得到的特征点（图1C中用×示出的特征点）。图1B所示的特征点中能够匹配的特征点是能够从在图像间（图像t－1和图像t）共同摄入的区域中得到的特征点（图1C中用○示出的特征点）。

但是，能够从在图像间（图像t－1和图像t）共同摄入的区域中得到的特征点的位置或比率在匹配之前是未知的，因而哪个特征点是能够从在图像间（图像t－1和图像t）共同摄入的区域中得到的特征点也是未知的。因此，使用RANSAC（RANdom Sample Consensus：随机采样一致性）等方法，从在图像t－1中抽取的特征点和在图像t中抽取的特征点选出各个特征点的组合，利用事前设定的评价函数求出各个特征点的组合的评价值（图1D）。该评价值被设计为当是能够从在图像间（图像t－1和图像t）共同摄入的区域中得到的特征点的组合（下面表述为inlier：内层）时使评价值容易变高。

具体地讲，根据从在图像t－1中抽取的特征点和在图像t中抽取的特征点选择的两组特征点的组合，生成旋转矩阵。并且，为了验算所生成的旋转矩阵是否正确，使除所选择的特征点的组合之外的图像t－1的特征点按照所生成的旋转矩阵进行旋转，确认旋转后的图像t－1的特征点是否与图像t的特征点一致。如果旋转后的图像t－1的特征点与图像t的特征点一致，可知所生成的旋转矩阵表示正确的图像间的抖动量（位置偏移的程度）的可能性比较大，因而设定将该一致程度作为评价值的评价函数。在使用该评价函数进行规定次数搜索的阶段中断搜索，使用在该时刻得到了最大评价值的inlier来估计旋转矩阵。另外，该inlier是指诸如在图1C中用○示出的特征点那样共同存在于图像间的特征点，主要是能够从拍摄到的图像内的远景区域中得到的特征点。并且，使用从作为远景特征点的inlier估计出的旋转矩阵来校正图像的抖动。