[发明专利]一种基于端到端神经网络的多路图片拼接方法

权利要求书

1.一种基于端到端神经网络的多路图片拼接方法，其特征在于，系统包括以下步骤：

S1：通过相邻邻接图估计器预估计多图像间的邻接关系，通过自适应卷积神经网络CNN计算两两图像间的单应性矩阵，并确定二者之间是否邻接，并确定二者之间的邻接权重，通过确定两两图片间的邻接权重，构建多图像间的邻接图G(I，E，δ)；

S2：根据多图像间的邻接图G(I，E，δ)，确定最优基平面图像I_opt，并基于最优基平面图像I_opt选取所有与其邻接的图像{I_link}；其中，与最优基平面图像I₁邻接图像为{I_link}＝{I₂，I₃，I₅，I₆，I₇}；将I_opt和{I_link}输入自适应网格流单应性估计器，计算获得基于网格的多单应性矩阵{H_opt-link}；

其中，自适应单应性估计器，为基于卷积神经网络CNN单应性估计器；

S3：通过多单应性矩阵{H_opt-link}，将最优基平面图像I_opt邻接的所有图像{I_link}投影到最优基平面I_opt，实现图像拼接融合；

获得拼接融合后的图像I'＝I_opt+{H_mesh}{I_link}；

若，多图像邻接权重图中的所有图像均被处理，则输出I'为最终拼接图；

若，剩余未处理图像，则I'为当前最优基平面图像I_opt，并回到S2处理。

2.根据权利要求1所述的基于端到端神经网络的多路图片拼接方法，其特征在于，算法流程包括以下步骤：

S21：过相邻邻接图估计器，拼接两两图像：

通过简洁CNN网络特征抽取器f(x)抽取任意两两图像I_i和I_j的特征F_i＝f(I_i)和F_i＝f(I_j)；

利用CNN网络特征抽取器的子CNN网络，估计每个特征相应的特征权重矩阵W_i＝w(I_i)和W_j＝w(I_j)，表征每个特征向量为该图像关键特征点的概率；

通过图像I_i的特征F_i和权重W_i，计算图像I_i的合成特征F_iW_i，并输入复杂的单应性估计CNN网络，再同过同过程计算图像I_j的合成特征F_jW_j；通过CNN网络估计图像I_i和I_j，并以I_i为基平面计算得到的单应性矩阵H_ij＝h(I_i，I_j)；变换单应性矩阵H_ij；

将图像I_j投影到I_i基平面的图像，I'_j＝Warp(I_i，H_ij)＝H_ijI_j；

合并I_i和I'_j，即得拼接图像I_i+I_j；

其中，通过输入F_iW_i和F_jW_j自适应训练单应性矩阵H_ij＝h(I_i，I_j)，需要基于局部损失函数Ln(I_i，I_j)，收敛以获得最优单应性矩阵H_ij；

其中，局部损失函数Ln(I_i，I_j)定义如下：

Ln(I_i,I_j)＝|W_iF_i-W_jF'_j|-|W_iF_i-W_jF_j|＝|W_iF_i-W_jH_ijF_j|-|W_iF_i-W_jF_j|；

图像I_i与I_j的全局损失函数定义如下：

L(I_i,I_j)＝Ln(I_i,I_j)+Ln(I_j,I_i)+|H_ijH_ji-1|+Ln(I_i,I'_j)+Ln(I_j,I'_i)+|H'_ijH'_ji-1|；

全局损失函数最小化时的单应性矩阵H_ij为最优单应性矩阵：

其中，I为相应单位矩阵；

S22：多图像邻接权重图；根据S21计算任意两两图像的最优单应性矩阵和相应的全局损失函数L(I_i，I_j)，以此损失函数为权重δ＝L(I_i，I_j)构建权重图：

其中，如果不存在，即证明图像I_i和I_j不重叠，设δ为正无穷大；图像I_i整体权重定义为所有与其相邻的图像{I_link}_i的权重之和，即：

S23：定选取基平面图像，计算当前所有图像整体权重，并确定具有最小整体权重的图像为基平面图像，并设定I_opt为：

S24：获取I_opt对应的所有邻接图像集合{I_link}_opt；

S25：判断{I_link}_opt是否为空；

若为空，则说明当前与I_opt重叠的图像已经拼接完成，多图像拼接算法输出最终拼接图像；

若不为空，则将I_opt和{I_link}_opt输入到自适应网格流单应性估计器，进行自适应网格流单应性拼接；

S26：通过自适应网格流单应性器计算获得以I_opt为基平面，获得每个与I_opt相邻的图像I_j的网格流最优单应性矩阵

其中，自适应网格流单应性器是基于网格流的CNN单应性估计器；

S27：获得通过变换器拼接图像I_opt和{I_link}_opt，即：

S28：以I'为新图像合并相邻邻接图，形成新的相邻邻接图；

计算G'(I，E，δ)＝G(I，E，δ)-I_opt-{I_link}_opt；

判断G'(I，E，δ)是否为空:

若为空，则图像拼接完成，输出最终拼接图像；

若不为空，基于G'(I，E，δ)UI'；

返回至S23，重复S23-S28，直到G'(I，E，δ)为空；

S29：输出最终拼接图像集合{I'}，算法完成。