[发明专利]基于神经网络的异构图像位姿估计及配准方法、装置及介质

说明书

本发明公开了一种基于神经网络的异构图像位姿估计及配准方法，属于图像处理领域。本发明将相位相关算法优化为为可微分，并将其嵌入到端到端学习网络框架中，构建了一种基于神经网络的异构图像位姿估计方法。该方法能够针对图像匹配的结果找到最优的特征提取器，不需要详尽的评估就能得到解，又具有良好的可解释性和泛化能力。测试结果表明，本发明能够准确实现异构图片的准确位姿估计和配准，而且所需的时间较短，具有较高的准确率和实时性，能够满足实际应用需求，可应用与机器人自定位等领域。

技术领域

本发明属于图像处理领域，具体涉及一种图像位姿估计及匹配方法。

背景技术

自定位是移动机器人最基本的问题之一。经过十几年的研究，将给定的某一观测在同一传感器建立的地图中完成定位已经相对成熟。但对于来自异构传感器的测量匹配仍然是一个开放性的问题。异构传感器受限于传感器自身的特性，其得到的两幅图像属于存在角度、比例、视角等差异的异构图像；而且传感器在获取图形时还会受到光照、阴影和遮挡等不同形式的干扰，而这些干扰都会使位姿估计变得异常困难。考虑近年来研究人员在构建地图方方面的积极进展，我们也希望通过构建地图的方式完成多传感器得到的异构图像的匹配，使匹配后形成的地图能够被多个配备异构传感器机器人共享。

关于同风格的同构图像匹配的现有技术可以分为两类：一类是依靠点特征匹配来在特定的情景中进行定位，另一类是应用相关方法来寻找解空间中的最佳候选位置。然而，当面对异构图像时，所有这些方法的效果都不理想。

因此，设计一套针对异构图像位姿估计及配准的方法，是现有技术中亟待解决的技术问题。

发明内容

本发明的目的在于解决现有技术中异构图像难以实现位姿估计和配准的问题，并提供一种基于神经网络的异构图像位姿估计及配准方法。

本发明所采用的具体技术方案如下：

第一方面，本发明提供了一种基于神经网络的异构图像位姿估计方法，其步骤如下：

S1：以预先经过训练的第一U-Net网络和第二U-Net网络作为两个特征提取器，分别以异构的模板图像和待匹配图片作为两个特征提取器各自的原始输入图片，提取两张原始输入图片中的同构特征，得到同构的第一特征图和第二特征图；

S2：将S1中得到的第一特征图和第二特征图分别进行傅里叶变换后取各自的幅度谱；

S3：将S2中得到的两个幅度谱分别进行对数极坐标变换，使其从笛卡尔坐标系转换到对数极坐标系中，从而使两个幅度谱之间笛卡尔坐标系下的旋转变换被映射成对数极坐标系中y方向上的平移变换；

S4：将S3中两个坐标变换后的幅度谱进行相位相关求解，得到二者之间的平移变换关系，再按照S3中笛卡尔坐标系和对数极坐标系之间的映射关系重新转换，得到所述模板图像和所述待匹配图片之间的旋转变换关系；

S5：以预先经过训练的第三U-Net网络和第四U-Net网络作为两个特征提取器，分别以异构的模板图像和待匹配图片作为两个特征提取器各自的原始输入图片，提取两张原始输入图片中的同构特征，得到同构的第三特征图和第四特征图；

S6：将S5中得到的第三特征图和第四特征图分别进行傅里叶变换后取各自的幅度谱；

S7：将S6中得到的两个幅度谱分别进行对数极坐标变换，使其从笛卡尔坐标系转换到对数极坐标系中，从而使两个幅度谱之间笛卡尔坐标系下的缩放变换被映射成对数极坐标系中x方向上的平移变换；

S8：将S7中两个坐标变换后的幅度谱进行相位相关求解，得到二者之间的平移变换关系，再按照S7中笛卡尔坐标系和对数极坐标系之间的映射关系重新转换，得到所述模板图像和所述待匹配图片之间的缩放变换关系；