[发明专利]一种基于端到端神经网络的多路图片拼接方法

说明书

一种基于端到端神经网络的多路图片拼接方法，系统包括以下步骤：S1：通过相邻邻接图估计器预估计多图像间的邻接关系，通过自适应卷积神经网络CNN计算两两图像间的单应性矩阵，并确定二者之间是否邻接，并确定二者之间的邻接权重，通过确定两两图片间的邻接权重，构建多图像间的邻接图；S2：根据多图像间的邻接图，确定最优基平面图像，并基于最优基平面图像选取所有与其邻接的图像；S3：通过多单应性矩阵，将最优基平面图像邻接的所有图像投影到最优基平面，实现图像拼接融合。本发明中，实现对图片以及视屏中的图片进行拼接的过程，得到高精度的且相互对齐的拼接图片。

技术领域

本发明涉及图像拼接和图像质量评价技术领域，尤其涉及一种基于端到端神经网络的多路图片拼接方法。

背景技术

由于镜头视角有限以及广角镜头边缘畸变严重等问题，很难拍摄到现实应用所需的单幅大视野图像，利用图像拼接融合技术能大幅扩展镜头的表现能力。将多张来自同一场景的具有一定重叠区域的小视野图像对齐、有序拼接融合成为大视野高分辨率图像的图像拼接技术，在计算机视觉领域有着广泛的研究，已被广泛应用于遥感图像处理、医学图像分析、绘图学、计算机视觉、视频监控、虚拟现实、超分辨率重构和机器人导航等领域。

图像拼接主要包括四个步骤：图像预处理、特征提取与描述、图像对齐和图像融合。

近些年，深度学习逐渐在机器视觉领域展现出非凡的能力，越来越多的传统方法被深度学习所替代。由于卷积神经网络CNN可以隐式地从训练数据中自动进行特征学习，在图像特征提取方面具有突出优势，其简单的参数学习和并行学习能力使其具有广泛的适用性。因此，基于卷积神经网络CNN的图像特征自动提取，可有效克服最优单应性特征对齐的问题。

然而，以上的方法在实施的过程中，有以下几个问题：

1.由于图像可能来自不同时间、不同相机和不同的视角，进而造成图像遮挡和背景混乱等问题，在图像对齐中的会造成特征点错误对齐问题，基于RANSAC的特征筛选方法效率低下，且不能与特征选取融合。

2.针对基于特征的图像对齐方面并没有考虑不同图像特征在图像内容保持方面的贡献，因此在通过RANSAC特征筛选出的特征点并没有考虑与其相关的权重。

3.由于缺乏大量标注数据，无法实现大批量的训练，即便已有了无监督的训练方法，但并没有大规模的应用到自然图片中；

现有方法均只解决了两张图像的对齐问题，而没有考虑如何扩展到多张图像拼接。

在图片拼接的问题中，图片的数量普遍高于两张，同时单个HomographyNet也难以应对多幅图片的对齐。

本发明旨在利用无监督卷积神经网络CNN的图像对齐技术实现多图像优化拼接问题

发明内容

(一)发明目的

为解决背景技术中存在的技术问题，本发明提出一种基于端到端神经网络的多路图片拼接方法，实现对图片以及视屏中的图片进行拼接的过程，得到高精度的且相互对齐的拼接图片。

(二)技术方案

为解决上述问题，本发明提出了一种基于端到端神经网络的多路图片拼接方法，系统包括以下步骤：

S1：通过相邻邻接图估计器预估计多图像间的邻接关系，通过自适应卷积神经网络CNN计算两两图像间的单应性矩阵，并确定二者之间是否邻接，并确定二者之间的邻接权重，通过确定两两图片间的邻接权重，构建多图像间的邻接图G(I，E，δ)；