[发明专利]一种基于深度卷积网络的自动图像配准方法

说明书

本发明公开了一种基于深度卷积网络的自动图像配准方法。使用本发明能够适用于颜色、外观差距较大的图像，且鲁棒性较好。本发明利用深度卷积网络中不同层级的卷积层、池化层或激活层的张量信息，倒金字塔式地从最底层级依次往上进行逐渐精确的特征点匹配，然后利用最顶层的匹配点，使用最小移动二乘法等图像配准方法进行图像配准，能够适用于外观特征变化较大的图像，且鲁棒性较好。同时，利用张量响应值对最近邻匹配对进行筛选，提出语义信息不强的最近邻匹配对，使得筛选出来的最近邻匹配对具有语义相关性。

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于深度卷积网络的自动图像配准方法。

背景技术

图像配准属于图像处理领域，是把同一场景下的两幅或者多幅图像在空间上进行对准，为图像的下一步处理提供保证。

目前基于图像外部特征的图像配准方法广泛运用于各类视觉应用、医学、遥感等场景中。通过提取图像中的特征点，然后在不同图像特征点之间寻找匹配点的方式建立起图像间的关联。然后通过求解特征匹配对应关系，得到源图像和目标图像之间的变换方程。在这个过程中，图像内容不会改变。因此，匹配点的好坏决定了配准的结果好坏。任意一个匹配点的误差也将会对结果产生较大影响。

刘小军等人提出了一种基于SIFT特征的图像配准方法，但其仅仅根据外部特征，对于颜色、外观差距较大的图像，难以找到合适的匹配点。同时，基于外观特征的匹配点，并不是全部符合人类直觉。人们更注重图像间的语义相关性，传统特征提取的方法难以获得图像的语义分布。

发明内容

有鉴于此，本发明提供了一种基于深度卷积网络的自动图像配准方法，能够适用于颜色、外观差距较大的图像，且鲁棒性较好。

本发明的基于深度卷积网络的自动图像配准方法，包括如下步骤：

步骤1，构建深度卷积网络，并对其进行训练，得到能够提取图像特征的、训练好的深度卷积网络；

步骤2，将待匹配的两幅图像A、B分别输入步骤1训练好的深度卷积网络，提取深度卷积网络中各层级中的卷积层、池化层或激活层的输出；其中，一个层级提取其中一层的输出，各层级可以提取同一种层的输出(例如均提取激活层)，也可以提取不同种层的输出；

步骤3，针对提取的各层的输出，分别设定该层的搜索子区域；从最底层开始，由下至上在各层对应的搜索子区域内分别进行最近邻匹配；其中，最近邻匹配过程如下：

对于第l层的第n个搜索子区域，对图像A的第l层的第n个搜索子区域中的每一个子张量在图像B的第l层中以相同位置的子张量为中心的匹配区域内寻找与距离最近的子张量，其中，匹配区域小于搜索子区域；同样的，对图像B的第l层的第n个搜索子区域中的每一个子张量在图像A的第l层中以相同位置的子张量为中心的匹配区域内寻找与距离最近的子张量；若A、B的第l层的第n个搜索子区域中存在两个子张量互为距离最近，则称这两个子张量为最近邻匹配对；

其中，第l层的第n个搜索子区域为下一层(第l+1层)的第n个匹配对在第l层的映射；最底层l＝L(L为步骤1提取层的总个数)的搜索子区域为最底层整个区域；

以此类推，得到最顶层l＝1的最近邻匹配对；

步骤4，利用最顶层的最近邻匹配，使用图像配准方法进行图像A、B的配准。

进一步的，所述步骤1中，所述深度卷积网络为具有提取图像特征的功能的网络，如图像分类网络。

进一步的，所述步骤1中，采用公开数据集如ImageNet进行网络训练或者直接采用现有公开的已预训练好的深度卷积网络。

进一步的，所述步骤2中，只提取前4个或前5个层级的卷积层、池化层或激活层的输出执行后续步骤。

进一步的，所述步骤3中，匹配区域的大小依据搜索距离及网络结构确定。