[发明专利]一种基于流形优化的图像拼接方法

权利要求书

1.一种基于流形优化的图像拼接方法，其特征在于：核心思想是将图像拼接的中的变换矩阵映射到流形空间去，在流形空间中通过一系列的优化插值得到最后的图像变换矩阵，然后再将该矩阵映射到欧氏空间并作用到变换图像上，最后将参照图像和变换图像融合到一起得到最后的广角图像；之所以将矩阵的操作放到流形空间是因为从李群的角度来看，变换矩阵在欧氏空间中的加减运算是不合理的，容易产生奇异的结果，而在流形空间则会避免这样的情况，所以将变换矩阵的操作放入流形空间；具体实现步骤如下：

步骤一、将待拼接的两幅图像的重叠部分进行对齐，具体为：

步骤1.1、求取待拼接的两幅图像的对应特征点；具体为：

首先使用特征点提取的算法检测图像I¹和图像I²的特征点；然后进行粗匹配；再利用RANSAC算法进一步筛选出准确的匹配特征点；

步骤1.2、利用流形优化的方法获取图像变换矩阵，具体为：

步骤1.2.1、将图像I²网格化，即将图像I²为w×h个网格；

其中，w为宽，h为高，共M＝w×h个网格；

步骤1.2.2、在流形空间中获取步骤1.2.1中w×h个网格的变换矩阵；

在流形空间中获取w×h个网格中的每一个网格的变换矩阵，具体通过迭代优化能量函数(1)来得到：

其中，M＝w×h表示所有的网格数；i表示w×h个网格按行排列后的第i个网格；N_i表示第i个网格内的所有匹配特征点数；是第i个网格前一次迭代后得到的变换矩阵，初始的值设为直接线性变换得到的全局单应矩阵；

H_i(x_i)表示第i个网格每次迭代要更新的值，而x_i就是H_i(x_i)在流形空间中的表示形式，第i个网格在每一次迭代后都会得到x_i，将其转换到欧氏空间后利用更新之后再次迭代；w(H)(p_j)表示变换矩阵H与点p_j坐标的齐次形式相乘得到新的坐标位置；表示利用第i个网格变换矩阵变换该网格内的特征点p_j后得到的特征点与实际检测到的特征点p'_j之间的距离；K表示第i个网格的四个顶点；k表示第i个网格内按行排列的第k个顶点；μ_k表示与顶点q_k相连接的网格集合；表示第i个网格变换矩阵和第l个网格变换矩阵变换同一个网格顶点q_k后相差的距离；λ是为了平衡匹配项和平滑项而设立的参数；

为了求解能量函数，令：

其中，yⁱ(x)表示与第i个网格优化所涉及的所有能量项组成的向量；N_i表示在第i个网格内的特征点对数；表示在第i个网格中，利用第j对特征点建立的能量项，可以表示为其中表示利用对p_jⁱ做变换，也可以表示为代表操作的叠加：先用H_i(x_i)与p_jⁱ的齐次形式相乘得到新的坐标位置，再用与之前得到的新的坐标位置相乘；F_i表示第i个网格的顶点数，F_i＝4；v_kⁱ(x)表示与第i个网格中的第k个顶点建立的能量项，可以表示为：

将公式(2)带入公式(1)推出通过优化w×h个网格的y(x)，就可得能量函数(1)的优化结果，进而就可得到w×h个网格的变换矩阵；由于w×h个网格计算的过程是一样的，而且是独立进行的，为了简化表示就用y(x)来表示当前处理网格的yⁱ(x)；

步骤1.2.2，又具体包括如下子步骤：

步骤1.2.2.A、将y(x)按照泰勒公式展开，得到了如下公式(3)：

其中，J(x)为y(x)的雅各比矩阵，如公式(5)；M(0,x)，即M(x₁＝0,x₂＝x)，它的计算过程如公式(4)所示：

再将公式(3)带入得到(6)：

J(x)＝J(0)+M(0,x)+O(||x||²) (6)

将公式(6)带入公式(3)得到(7)：

(7)公式的近似表示为(8)：

至此，网格y(x)优化的目标是为了找一个x₀使得y(x₀)≈0；将y(x₀)＝0带入公式(8)后，可得x₀＝-2(J(0)+J(x₀))⁺*y(0)；

其中，(J(0)+J(x₀))⁺表示(J(0)+J(x₀))的伪逆矩阵；从x₀＝-2(J(0)+J(x₀))⁺*y(0)看出，求出J(0)和J(x₀)，可得x₀；

步骤1.2.2.B、求解J(0)；

将公式(2)带入公式(5)，并令x＝0得

其中：

是上一次迭代第l个网格的变换矩阵；由公式(9)和(10)看出，y_i(x)和v_i(x)都是由三个函数复合而成的，所有和的求解可以由三个雅各比矩阵相乘得到，即为了求解和需要求解J_I、J_w、J_G、

步骤1.2.2.B.A、通过公式(11)求解J_I；

其中，表示矩阵的雅各比矩阵；

步骤1.2.2.B.B、通过公式(12)求解J_w:

令特征点p_i＝[u_i v_i l]^T那么J_w就可以表示为(13)：

步骤1.2.2.B.C、通过公式(14)求解J_G:

通过利用流形映射的方式，将(14)表示为(15)；

J_G＝[[A₁]_v [A₂]_v … [A₈]_v] (15)

[A_i]_v是将A_i按行变换为一个向量；其中

步骤1.2.2.B.D、通过公式(16)求解

其中，表示矩阵的雅各比矩阵；

步骤1.2.2.B.E、通过公式(17)求解

令特征点q_k＝[e_k r_k 1]^T那么就可以表示为公式(18)；

由和就可以得到和通过计算和得到J(0)；

步骤1.2.2.C、通过公式(19)求解J(x₀)；

将公式(2)带入公式(5)，并令x＝x₀得公式(19)：

其中表示为公式(20)：

假设即那么可表示为公式(21)：

令将(21)表示为公式(22)：

令可以表示为公式(23)：

从公式(22)和(23)看出，y_i(x)和v_i(x)都是由三个函数复合而成的，所以和的求解可以由三个雅各比矩阵相乘得到，即

步骤1.2.2.C.A、通过公式(24)求解

其中，表示矩阵的雅各比矩阵；

步骤1.2.2.C.B、通过公式(25)求解

令那么可以表示为式(26)：

步骤1.2.2.C.C、通过公式(27)求解

其中，表示矩阵的雅各比矩阵；

步骤1.2.2.C.D、通过公式(28)求解

令那么可以表示为公式(29)：

由就可以得到和进而就可以得到J(x₀)；

计算出J(x₀)和J(0)后，结合x₀＝-2(J(0)+J(x₀))⁺*y(0)得到x₀，然后利用黎曼指数函数将x₀转换到欧氏空间，即H(x₀)；之后利用H(x₀)更新

步骤1.2.2是一个网格在一次迭代过程中的计算，每一次迭代会将所有的网格变换矩阵更新一遍，然后再次迭代计算，一直到所有网格的x₀的模长都小于阈值后停止迭代，此时每个网格得到的就是w×h个网格得到的变换矩阵；

其中，使用I¹和I²来表示待拼接的两幅图像；

步骤二、在流形空间中矫正非重叠部分的扭曲，得到变换后的图像；

步骤二之前的变换矩阵可以将图像I¹和I²的重叠部分对齐，但是会让图像I²的非重叠部分产生投影扭曲，所以需要矫正这部分扭曲；

步骤三、图像融合，具体基于步骤二得到变换后的图像，再利用线性融合的方式将这两幅图像融合到一起，得到了一幅包含更大视角的图像；

至此，从步骤一到步骤三，完成了一种基于流形空间的图像拼接方法。

2.根据权利要求1所述的一种基于流形优化的图像拼接方法，其特征在于：步骤二首先要利用之前的匹配特征点求取图像I²到I¹的全局相似变换矩阵S，具体的公式如(30)和(31)：

d_i＝H_i*(S)^-1 (30)

H_i表示图像I²中第i个网格插值前的矩阵，表示图像I²中第i个网格插值后的变换矩阵，exp(A)表示黎曼指数函数，可以将流形空间的矩阵转换到欧氏空间中，log(A)表示黎曼对数函数，可以将欧氏空间中的矩阵转换到流形空间中，t_i表示第i个网格插值的权重；该权重是通过如下的公式(32)计算：

其中，p_i表示第i个网格的网格中心点，p_min和p_max的计算是通过下面的公式(33)：

O是图像I²原始状态对应点的中心点，O′是图像I²目标状态对应点的中心点，用表示图像变换的偏移向量；p_i表示当前的网格中心点，p_min和p_max分别表示a_i最小和最大时所对应网格中心点在方向上的投影点；在得到p_min和p_max后再按照公式(32)取权重t_i，并得到新的网格变换矩阵；t_i的计算可以使重叠部分的网格趋于步骤二中计算出的变换，非重叠部分的网格趋于相似变换；最后通过新的变换矩阵变换图像I²得到新的变换结果；

但是由于插值操作是针对整幅图像的，重叠部分也发生了变换，为了可以使插值后的图像I²依然可以与图像I¹对齐，需要对图像I¹也网格化为w×h个网格，并按照公式(34)求解图像I¹w×h个网格的变换矩阵：

其中，表示图像I²第i个网格插值后的矩阵，表示图像I¹第i个网格矫正后的矩阵，表示图像I²第i个网格插值前的矩阵；通过公式(34)调整图像I¹的各个网格变换之后就可以使图像I¹和图像I²的重叠部分重新对齐了，即得到了变换后的图像I¹和I²。