[发明专利]一种用于全景图像拼接的基于网格优化的配准方法

权利要求书

1.一种用于全景图像拼接的基于网格优化的图像配准方法，其特征在于,具体步骤如下：

(1)应用ORB进行快速的特征提取；使用FAST算法进行特征检测，然后基于改进的BRIEF描述符生成特征点的相关描述子，其中包含该特征点的尺度信息、位置和方向信息；

(2)采用K-D树和最优节点优先算法进行特征点的粗匹配，然后对得到的匹配点用公式(1)进行比值测试，式中p为当前特征点，其定义为p的最邻近特征点p_best-closed与次邻近特征点p_{second-closed}的汉明距离的比值要小于一个阈值ratio；应用公式(2)进行交叉测试；遍历图像I中的特征点，寻找图像J中与之匹配的点，记为M_I-＞J，然后遍历图像J中的特征点，寻找图像I中相对应的点，记为M_J-＞I，交叉测试认为只有当两者相互对应时方为一对正确的匹配；

M_IJ＝M_I-＞J∩M_J-＞I (2)

M_IJ表示图像I和图像J为正确的匹配；

(3)然后，对精匹配后的匹配点对进行多层RANSAC筛选，在图像的多个平面中筛选特征点对的内点集，使得最终内点集的数目占总匹配对数目的80％以上，最大限度的保留匹配信息；

(4)通过移动直接线性转换将特征匹配点映射为分布更加规则均匀的顶点匹配点；将图像划分成密集网格，每个网格对应一个单应性矩阵投影变换，如公式(3)所示，其中表示网格中某一匹配点的初始坐标(x,y,1)，表示变换后的坐标(x′,y′,1)，均为三维，因此矩阵H的维度为3×3；

设H为：

将公式(3)化开得：

整理成矩阵相乘的格式，便为：

a_ih＝0 (6)

其中，a_i表示第i对匹配点构成的2×9矩阵，h为H的列向量格式，维度为9×1：

将M对匹配点全部考虑在内，如公式(8)所示，通过最小化平方误差e_k来求解变换矩阵h，其中A为M对匹配点对应的变换矩阵，维度为2M×9；W_k为每对匹配点的权值对角阵，维度为2M×2M，每个元素通过公式(4)计算；为第i对匹配点对第k个网络的影响权值，由该匹配点与网格中心的距离决定；公式(4)中x_k表示第k个网格的中心坐标，x_i表示第i对匹配点的坐标，μ为调整参数；

e_k＝argmin||W_kAh||²s.t.||h||＝1 (8)

然后应用计算得到的单应性矩阵在另一幅图像中找到网格顶点的匹配点、顶点匹配点分布均匀规则，以此作为网格优化中的匹配点；

(5)引入基于网格优化的三个约束项：针对重叠区域的坐标对齐约束项、针对非重叠区域的局部相似约束项和针对全局结构一致性的全局相似约束项；首先设置几个标志，将图像之间的匹配关系存入集合T，图像i和图像j经步骤(4)映射后得到的匹配点对的集合设为M_ij，由于图像已划分成网格，设V_i和E_i为图像i中网格的顶点集合和边集合；

坐标对齐约束项如公式(10)所示，确保在网格优化后与相应匹配点的坐标尽可能一致，减少相邻图像重叠区域的对齐误差；其中m(p)返回特征点p在另一幅图像上的匹配点，Ψ(p)用4个网格顶点坐标的线性组合来表示特征点p的位置；

局部相似约束项如公式(11)所示，确保网格优化前后同一向量边的长度和方向不会有太大变化；由于投影矩阵主要适用于重叠区域，在非常重叠区域引入相似变换矩阵表示边的相似变换，计算如公式(12)，其中和是关于顶点变量的线性组合，主要模拟旋转和大小变换；和表示原图像上同一条边的两个顶点位置，v_j^′i和v_k′^k表示网格优化后的顶点位置，E_i表示网格的边集合；

全局相似约束项如公式(13)所示，旨在提升图像序列中的整体结构一致性；其中为每条边的权值，从重叠区域到非重叠区域渐变，距离重叠区域越远，权重越大，定义为公式(14)；s_i定义为图像i的尺度量，通过光束平差法估计图像i的相机参数获得；θ_i定义为图像i对于基准图像的旋转量，按LSD特征线检测得到的线特征之间的夹角的平均值为两幅图像之间的旋转角；

其中，η和λ是调整参数，是共享边的网格集合，Mⁱ表示图像i的重叠区域的全部网格的结合；d(q_k,Mⁱ)是一个函数，用以计算集合内的网格q_k到重叠区域的距离；R_i和C_i表示图像i网格的行数和列数；

结合上述三个约束项，如公式(15)所示，最小化此公式即获得网格优化后每个像素点在全景图中的坐标值，图像配准完成；

式中，γ为局部相似约束项的调整系数。