[发明专利]一种基于深度卷积网络的自动图像配准方法在审
申请号: | 201810847008.X | 申请日: | 2018-07-27 |
公开(公告)号: | CN109461115A | 公开(公告)日: | 2019-03-12 |
发明(设计)人: | 科菲尔·阿博曼;陈宝权;史明镒;达尼·李其思;达尼·科恩尔 | 申请(专利权)人: | 北京电影学院 |
主分类号: | G06T3/00 | 分类号: | G06T3/00;G06N3/04;G06K9/62 |
代理公司: | 北京理工大学专利中心 11120 | 代理人: | 代丽;仇蕾安 |
地址: | 100088*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 卷积 匹配对 最近邻 图像配准 自动图像 鲁棒性 配准 筛选 图像 特征点匹配 语义 外观特征 语义信息 最小移动 网络 激活层 量信息 匹配点 最底层 最顶层 乘法 层级 池化 响应 | ||
1.一种基于深度卷积网络的自动图像配准方法,其特征在于,包括如下步骤:
步骤1,构建深度卷积网络,并对其进行训练,得到能够提取图像特征的、训练好的深度卷积网络;
步骤2,将待匹配的两幅图像A、B分别输入步骤1训练好的深度卷积网络,提取深度卷积网络中各层级中的卷积层、池化层或激活层的输出;
步骤3,针对提取的各层的输出,分别设定该层的搜索子区域;从最底层开始,由下至上在各层对应的搜索子区域内分别进行最近邻匹配;其中,最近邻匹配过程如下:
对于第l层的第n个搜索子区域,对图像A的第l层的第n个搜索子区域中的每一个子张量在图像B的第l层中以相同位置的子张量为中心的匹配区域内寻找与距离最近的子张量,其中,匹配区域小于搜索子区域;同样的,对图像B的第l层的第n个搜索子区域中的每一个子张量在图像A的第l层中以相同位置的子张量为中心的匹配区域内寻找与距离最近的子张量;若A、B的第l层的第n个搜索子区域中存在两个子张量互为距离最近,则称这两个子张量为最近邻匹配对;
其中,第l层的第n个搜索子区域为l+1层的第n个匹配对在第l层的映射;最底层的搜索子区域为最底层整个区域;
以此类推,得到最顶层的最近邻匹配对;
步骤4,利用最顶层的最近邻匹配,采用图像配准方法进行图像A、B的配准。
2.如权利要求1所述的基于深度卷积网络的自动图像配准方法,其特征在于,所述步骤1中,所述深度卷积网络为图像分类网络。
3.如权利要求1或2中所述的基于深度卷积网络的自动图像配准方法,其特征在于,所述步骤1中,采用公开数据集进行网络训练或者直接采用现有公开的已预训练好的深度卷积网络。
4.如权利要求1所述的基于深度卷积网络的自动图像配准方法,其特征在于,所述步骤2中,只提取前4个或前5个层级的卷积层、池化层或激活层的输出执行后续步骤。
5.如权利要求1所述的基于深度卷积网络的自动图像配准方法,其特征在于,所述步骤4中,采用最小移动二乘法、保刚性图像变形法或微分方法图像变形法实现图像A、B的配准。
6.如权利要求1所述的基于深度卷积网络的自动图像配准方法,其特征在于,所述步骤3中,对于第l层的第n个搜索子区域ln,最近邻匹配过程如下:
对图像A的搜索子区域ln中的每一个子张量在图像B的相同位置的子张量为中心的匹配区域内寻找与距离最近的子张量然后计算子张量在图像A的相同位置的子张量为中心的匹配区域内与距离最近的子张量是否为若是,则认为与为一对最近邻匹配对。
7.如权利要求1所述的基于深度卷积网络的自动图像配准方法,其特征在于,所述步骤3中,针对各层,计算该层的各最近邻匹配对的张量响应值,选取响应值大于或等于设定阈值的最近邻匹配对为该层的最终的最近邻匹配对,利用最终的最近邻匹配对执行后续步骤。
8.如权利要求1所述的基于深度卷积网络的自动图像配准方法,其特征在于,所述步骤3中,在进行距离计算时,将图像A、B对应的搜索子区域进行风格转换,转换为统一的公共风格,然后再进行距离计算,得到最近邻匹配对。
9.如权利要求1所述的基于深度卷积网络的自动图像配准方法,其特征在于,所述步骤4中,在进行图像A、B的配准前,先分别对步骤3获得的最顶层的最近邻匹配对采用无监督的聚类方法进行聚类,然后利用各聚类中心对进行图像A、B的配准。
10.如权利要求9所述的基于深度卷积网络的自动图像配准方法,其特征在于,所述无监督的聚类方法为K-Means聚类法、DBSCAN聚类法或Mean-Shift聚类法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京电影学院,未经北京电影学院许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810847008.X/1.html,转载请声明来源钻瓜专利网。