[发明专利]一种用于全景图像拼接的基于网格优化的配准方法

说明书

本发明属于数字图像技术领域，具体为一种适用于自由视角图像拼接的基于网格优化的配准方法。近年来，由于在虚拟现实、医学成像等领域的应用前景，全景图像受到了极大的关注。图像配准主要获取每幅图像在全景图中的位置参数。传统的图像配准需要执行特征点提取、匹配、单应性矩阵求解、相机参数矫正等一系列操作。本发明使用了一种基于网格优化的配准方法来替代经典配准技术，不仅在速度上有明显提升，而且适用于自由视角拍摄的大视差的图像的拼接。在此方法中，使用ORB快速特征提取来获取图像的特征点，并引入分步粗精匹配的策略，最后引入基于网格优化的三个约束项，以最小化误差函数的方法来得到图像之间的最佳配准参数。

技术领域

本发明属于数字图像处理技术领域，具体涉及一种用于全景图像拼接的基于网格优化的图像配准方法。

背景技术

随着信息技术的迅猛发展和人们生活水平的提高，人们对于高质量的全景图像的需求也越来越旺盛，无论是虚拟现实、全景直播，还是医学成像、辅助驾驶，全景图像都有很好的应用前景。从功能上，人们能够从全景图像中获取更多的信息，获得更好的视觉体验。

为了获取宽视角的图像，传统的方法是使用广角镜头，如鱼眼镜头，它可以拍摄水平面上近乎180度的全部场景，但是这种方法存在至少以下三个不足：一是会引入肉眼可见的畸变和失真，二是由于拍摄视角过大造成分辨率下降，三是广角镜头造价昂贵。

在这样的背景与需求下，图像拼接技术应运而生，该技术旨在将一组带有重叠区域的、小视角的图像序列，经过一系列的处理与操作，最终得到一张包含全部场景信息的、具有大视角特性和超高分辨率的全景图。由于每个镜头只负责拍摄场景中的一部分，如果采用高清镜头，那么细节的分辨率就会较高，同时普通镜头也避免了广角引入的畸变。

传统的图像拼接技术主要可分为以下步骤：图像获取、SIFT特征提取、特征匹配、单应性矩阵求解、相机参数矫正以及图像融合。一个单应性矩阵只能对齐一个平面，如果在初始图像中存在视差和拉伸，使用传统方法得到的拼接图中就会出现非常严重的重影和倾斜，甚至拼接失败(结果图完全失真)。

发明内容

本发明的目的在于克服当前技术不足，提供一种用于全景图像拼接的基于网格优化的图像配准方法。

本发明适用于自由视角的图像配准，对图像的尺度变换、亮度变换和旋转变换都表现出优越的稳定性。因此，此发明不仅能够应用于镜头固定的全景监控，还适用于镜头移动、旋转的无人机勘测等。

对于图像序列的获取，本发明使用三种方法：其一，固定摄像头旋转拍摄获取周围全景，这样得到的图像序列最为规则；其二，手持相机拍摄图像序列，相邻重叠区域在20％左右即可，如此获取的图像序列会存在旋转、抖动、平移等变换；其三，无人机高空获取图像，相机位置固定但会调整拍摄方向，获得的图像存在尺度、旋转变换且分辨率较高。

本发明提供的用于全景图像拼接的基于网格优化的图像配准方法，具体步骤如下：

(1)应用ORB【1】进行快速的特征提取。使用FAST【2】算法进行特征检测，然后基于改进的BRIEF【3】描述符生成特征点的相关描述子，其中包含该特征点的尺度信息、位置和方向信息。

(2)采用高维树(K-D树)和最优节点优先算法(BBF)进行特征点的粗匹配，然后对得到的匹配点用公式(1)进行比值测试，p为当前特征点，其定义为p的最邻近特征点p_best-closed与次邻近特征点p_{second-closed}的汉明距离的比值要小于一个阈值(ratio)，阈值一般取为0.65；应用公式(2)进行交叉测试；遍历图像I中的特征点，寻找图像J中与之匹配的点，记为M_I-＞J，然后遍历图像J中的特征点，寻找图像I中相对应的点，记为M_J-＞I，交叉测试认为只有当两者相互对应时方为一对正确的匹配；