[发明专利]一种基于局部配准的图像拼接方法

说明书

技术领域

本发明涉及一种图像拼接方法，尤其涉及一种基于局部配准的图像拼接方法。

背景技术

图像拼接算法是最早研究和广泛使用的计算机视觉技术。图像拼接技术被广泛于视频防抖、视频摘要和全景图生成等领域。比如录像机中的防抖功能就是通过相邻帧之间的配准算法来实现的。如今的百度地图上的360度无死角的街景图和卫星地图也都是通过图像拼接技术来生成的。图像拼接技术主要包括两部分：图像配准和图像融合。其中图像配准解决的是找出图像间的重叠区域问题，是图像拼接技术的核心和关键，而图像融合技术是解决已配准的图像的最终画出问题，目的是消除缝合线以及光度和色度的影响。可以从这两个步骤寻求解决图像拼接问题的方法，但是关键点是图像配准步骤，图像融合技术只是一种辅助手段。

传统的图像配准方法是在由输入图像间匹配好的特征点估计出一个全局的二维映射，然后用这个映射对图像进行配准。典型二维映射是投影变换，用单应性矩阵H表示。但是这类全局的投影变换对输入图像的场景有严格的要求，即输入图像的场景应该位于同一平面上，而且图像间必须只发生了相机的旋转运动，有视差的图像是不能接受的。传统拼接技术中对于场景的要求过于苛刻，我们日常生活中拍摄的照片经常不满足这样的条件，所以需要对传统的算法进行改进，以适应各种场景的要求。

由于投影变换模型固有的缺陷，投影变换不能够对局部的偏差进行很好的拟合，也就是说当场景中出现多个深度层时，由所有匹配特征点估计出来全局的投影变换对局部的某些特征点的拟合效果不好。近年来出现了一些随空域变化的变换方法，例如尽可能的投影变换方法，它建立了一个新的模型对局部的匹配特征点进行了很好的拟合，克服了这个投影变换的缺陷。此类方法能较好地处理同时发生了旋转变化和较大平移变化的图像间的配准，能有效的在复杂场景下完成拼接，大大减小了图像拼接对场景的限制，能处理一定视差下的图像拼接问题，但是大视差下会失效。

现有的一些图像拼接算法大视差下的效果很差。这是因为在大视差下，物体的空间相对位置关系发生了改变，无论怎么样都达不到很好的全局配准。针对这个问题，有学者公开了一种结合了随机搜索和配准质量评价的局部配准算法：视差容忍方法。这个算法并不是对整个重叠区域进行配准，而是只在重叠区域内找到一块局部区域进行配准，最后合成为拼接结果。此方法能处理一些大视差情况下的图像拼接问题，但是当输入图像中出现了大量显著度高的图像结构时，此方法并不能找到一块合适的区域进行局部配准，这是由于算法中的随机搜索算法的局限性造成的。

发明内容

本发明的目的在于克服现有技术的不足，提出一种配准区域更准确、鲁棒性更好的局部配准图像拼接方法。该方法能有效处理大视差下的图像拼接问题。

为实现上述目的，本发明提供一种基于局部配准的图像拼接方法。

一种基于局部配准的图像拼接方法，包括以下步骤：

步骤1：特征点检测与匹配：首先进行特征点检测，提取输入图像I₀和I₁的特征点，并对特征点进行匹配，得到N组匹配点；

步骤2：设来自输入图像I₀和I₁上的匹配点集合的编号m为0；

步骤3：图像局部配准：当前匹配点集合m即为局部区域，对这个局部区域进行配准，得到对应的3×3单应性映射矩阵H_m；

步骤4：判断当前局部单应性映射矩阵H_m的配准误差是否小于配准阈值，或者是否收敛，如果是，则转向步骤6，否则转向步骤5；

步骤5：匹配点集合调整：先利用运动矢量调整匹配点集合，再利用视差概率调整匹配点集合，得到新的匹配点集合，并把当前匹配点集合的编号m加1，转向步骤3；

步骤6：图像合成：根据映射矩阵H_m，计算缝隙，最后生成拼接结果。

上述步骤5所述的匹配点对集合调整方法，包括以下步骤：

步骤5-1：利用运动矢量调整匹配点对集合：

计算匹配点对集合m中每一对匹配点(f_i⁰,f_i¹)的运动矢量v：