[发明专利]以局部保持配准的鲁棒弹性模型无人机图像拼接方法

说明书

本发明公开了一种以局部保持配准的鲁棒弹性模型无人机图像拼接方法，本发明使用引导局部保持匹配(GLPM)来有效地去除异常值并保留局部特征，然后应用具有简单径向失真函数(RBF)的薄板样条(TPS)模型，接下来，通过全局单应性作为全局相似变换的源图像被投影到变形图像上。实验结果表明，本发明的方法是稳健的并且通用的，可以有效消除视差，并且可以处理复杂的局部失真。

技术领域

本发明涉及图像处理领域，尤其涉及无人机图像拼接方法，更具体地说，本发明涉及一种以局部保持配准的鲁棒弹性模型无人机图像拼接方法。

背景技术

图像拼接仍然是长期研究的主题，也是机器视觉中的持续挑战。随着近年来无人机成像装置的日益普及，无人机图像的有效处理已成为热门话题。无人机图像拼接广泛用于地形重建，环境监测和城市规划。传统的图像拼接过程一般分为三个阶段。第一步是使用图像像素或其特征来提取正确的图像配准，然后确定参考图像和目标图像，同时将它们卷绕到最终的合成平面上。最后的选取一步利用相关的算法用于无缝裁剪和融合到视野的更大全景视图中，通常制作最终的全景图像还有额外的处理视差，镜头失真和曝光补偿的对视场产生不利影响因素处理。

在早期的图像拼接方法中，人们注重图像的对齐质量，以追求最完美的高质量无缝拼接图像。早期对准质量对应于两个方面：一是减少全局投影均方根误差；另一种是减少局部拼接的平均误差。

广泛使用的图像拼接算法的早期示例是AutoStitch。该算法旨在减少全局投影均方根误差。该算法估计两个图像之间的单应矩阵并使用矩阵来对齐图像。然而，单应性不能解决视差，并且在具有视差的无人机图像的合成全景中出现不期望的伪像。在该方法中，输入图像应该从相同的视点获得，或者场景应该是大致平坦的。否则，由于传统的单应性模型在重叠部分中产生投影误差，所得到的拼接图像看起来会模糊和重影。用于优化接缝的平均误差的另一种方法，其不同于基于与特征对应的最佳特征来估计几何变换。以Gao和Brown的缝线驱动图像拼接为例，其主要思想是找到拼接对齐区域。使用最小接缝成本函数找到适合图像拼接的拼接。虽然这种方法可能在局部上很好地用于单应性，但是它可能对随后的重叠图像的单应性估计产生不利影响。

最近，人们更加关注图像拼接的自然品质。在Li和Xu的文章中，变形的自然质量反映在两个一致性属性中：一个是局部一致性，即拼接图像部分与原始图像一致；另一个全局一致性是指同一对视角关系应该在不同图像之间保持一致。为了获得更自然的拼接效果，逐渐应用图像的自然变形。单应性是最常见的全局变形。尽管全局变形是稳健的，但它并不能很好地消除视差问题，并且它只能为平面场景或非视差相机运动提供精确对准。为了解决全局变形的缺陷，局部变形逐渐出现在人们的视野中。局部变形的主要思想是在重叠中使用多个局部参数进行对齐，例如尽可能多地进行投影变形(APAP)和保持形状的半投影(SPHP)。APAP变形在重叠区域中使用局部投影变形，然后使用投影正则化DLT将重叠部分的变形平滑地移动到非重叠部分。然而，APAP变形类似于全局投影失真，其引起局部投影失真，即拼接的图像的一部分被不均匀地拉伸。如Hartley和Zisserman文章中所述，参考图像是目标图像的扩展，并且具有宽视角的单视图图像拼接方法可能导致严重的投影失真。为了解决上述问题，SPHP变形是多视图拼接方法。其主要思想是利用投影失真在重叠部分对齐，平滑过渡到非重叠部分，采用更灵活的相似变形。然而，对于由无人机图像的视点的改变引起的大视差问题，不能很好地解决相似变形并且还导致透视畸变。

在本发明中，本发明确定是否存在消除投影误差中的伪像的解决方案。可能的解决方案是将现有的视差消除方法直接应用于无人机图像。然而，无人机图像与其他可见光图像有一定的差别，因为它涉及由图像点变化引起的地面变化，树木遮挡和局部失真。

发明内容

为了解决上述问题，本发明解决其技术问题所采用的技术方案是：构造一种以局部保持配准的鲁棒弹性模型无人机图像拼接方法，包含如下步骤：

S1、获取一组待配准的具有重叠部分的无人机图像，共N张图像，N为大于或等于2的正整数；