[发明专利]基于深度学习的多尺度图像配准方法和装置

说明书

本申请提出一种基于深度学习的多尺度图像配准方法和装置。其中，方法包括：获取第一待配准图像和第二待配准图像，通过预设多层卷积神经网络架构分别对第一待配准图像和第二待配准图像进行特征提取处理；获取目标中间层输出的第一特征描述符和第二特征描述符，根据第一特征描述符和第二特征描述符计算第一待配准图像和第二待配准图像的特征点距离矩阵；根据特征点距离矩阵对第一待配准图像和第二待配准图像进行双向特征点匹配得到特征点匹配对；根据特征点匹配对第一待配准图像和第二待配准图像进行图像配准。由此，能够在快速完成图像配准的前提下，具有非常好的尺度适应性，同时对旋转，光照，平移等变换具有较好的适应性。

技术领域

本申请涉及计算机视觉和深度学习领域，特别涉及基于深度学习的多尺度图像配准方法和装置。

背景技术

图像配准将两幅或多幅拍摄于不同时间、不同视角等多种变化的图像进行对齐，继而确定图像间空间位置、强度等之间的映射关系。它是图像处理领域的关键技术，在图像融合、图像拼接以及计算机视觉等方面发挥重要作用。

相关图像配准方法主要分为三类：基于特征的配准方法、基于变换域的配准方法和基于灰度信息的配准方法。基于特征的方法计算速度快且对灰度变化和图像形变等都有较好的适应能力，克服了其它两种方法的不足，是如今图像配准研究领域的热门方法。基于特征的图像配准的步骤主要包括以下四步：手动或自动的特征提取；两幅待配准图像进行特征匹配；估计图像变换模型的参数；统一坐标变换进行图像配准。其中特征提取和特征匹配在整个配准过程是非常关键的。点特征是基于特征的图像配准方法中最常用到的特征之一，特征点提取方法有Moravec提出的Mo～角点检测算法、Chris Harris和Mike Stephens提出的Harris角点检测算法、Mokhtarian和Suomela提出的CSS特征检测算法等，但这些算法对旋转及尺度变化的适应性较差。

尺度不变特征变化的特征点提取方法以优越的图像细节描述能力和较好的稳定性在图像配准算法中有着广泛的应用。David G.Lowe提出了SIFT算法，此算法是基于高斯尺度空间的特征点提取算法，所提取的特征点具有尺度和旋转不变性，是目前公认的最为稳定的算子，并于2004年对该算法进行了深入的发展和完善。Krystian Mikolajczyk和Cord-elia Schmid提出了仿射和尺度不变性的harris角点检测并且证明了该算法相较于其他尺度空间的特征提取算法有更高的重复率。张小洪利用多分辨的思想，结合小波变换的灰度强度变化公式，提出了基于小波变换的harris角点检测，该算法克服了单一尺度的harris角点可能存在角点丢失等问题并且具有尺度不变性。Bay等人对SIFT算法进行了改进，采用了han特征以及积分图像的概念，加快了计算速度。许多学者结合不同特征提取和匹配方法提出了各种图像配准方法，Wang Weixing等人用Harris-Laplace算子进行特征提取，用SURF算法进行特征描述并用欧氏距离进行匹配，此算法的优点在于完成了自动图像配准，提高了配准精度且减少了时间。许佳佳结合Harris与SIFF算法进行角点检测，再用随机kd树算法进行特征匹配，从而完成图像配准，该方法保证特征点的尺度不变性且相较于SIFT算法减少了图像配准的时间，但在特征点提取时加大了计算复杂性。

近几年，也有很多研究人员将深度学习应用到图像配准过程中。2014年，Dosovitskiy等人提出了一种通用的特征提取方法，使用未标记的数据训练卷积神经网络。这些特征的通用性使转换具有鲁棒性。这些特征或描述符的性能优于SIFT描述符以匹配任务。2018年，Yang等人开发了一种基于相同思想的非刚性配准方法。他们使用预训练的VGG网络层来生成一个特征描述符，同时保留卷积信息和局部特征。这些描述符的性能也优于类似SIFT的探测器，特别是在SIFT包含许多异常值或无法匹配足够数量特征点的情况下。在2016年，DeTone等人发表了Deep Image Homography Estimation，提出了HomographyNe回归网络，这是一种VGG风格模型，可以学习两幅相关图像的单应性。该算法具有以端到端的方式同时学习单应性和CNN模型参数的优势，不需要前两个阶段的过程。