[发明专利]基于神经网络的异构图像位姿估计及配准方法、装置及介质

权利要求书

1.一种基于神经网络的异构图像位姿估计方法，其特征在于，步骤如下：

S1：以预先经过训练的第一U-Net网络和第二U-Net网络作为两个特征提取器，分别以异构的模板图像和待匹配图片作为两个特征提取器各自的原始输入图片，提取两张原始输入图片中的同构特征，得到同构的第一特征图和第二特征图；

S2：将S1中得到的第一特征图和第二特征图分别进行傅里叶变换后取各自的幅度谱；

S3：将S2中得到的两个幅度谱分别进行对数极坐标变换，使其从笛卡尔坐标系转换到对数极坐标系中，从而使两个幅度谱之间笛卡尔坐标系下的旋转变换被映射成对数极坐标系中y方向上的平移变换；

S4：将S3中两个坐标变换后的幅度谱进行相位相关求解，得到二者之间的平移变换关系，再按照S3中笛卡尔坐标系和对数极坐标系之间的映射关系重新转换，得到所述模板图像和所述待匹配图片之间的旋转变换关系；

S5：以预先经过训练的第三U-Net网络和第四U-Net网络作为两个特征提取器，分别以异构的模板图像和待匹配图片作为两个特征提取器各自的原始输入图片，提取两张原始输入图片中的同构特征，得到同构的第三特征图和第四特征图；

S6：将S5中得到的第三特征图和第四特征图分别进行傅里叶变换后取各自的幅度谱；

S7：将S6中得到的两个幅度谱分别进行对数极坐标变换，使其从笛卡尔坐标系转换到对数极坐标系中，从而使两个幅度谱之间笛卡尔坐标系下的缩放变换被映射成对数极坐标系中x方向上的平移变换；

S8：将S7中两个坐标变换后的幅度谱进行相位相关求解，得到二者之间的平移变换关系，再按照S7中笛卡尔坐标系和对数极坐标系之间的映射关系重新转换，得到所述模板图像和所述待匹配图片之间的缩放变换关系；

S9：将所述待匹配图片按照S4和S8中得到的旋转变换关系和缩放变换关系进行对应的旋转和缩放变换，得到一张新的待匹配图片模板图像；

S10：以预先经过训练的第五U-Net网络和第六U-Net网络作为两个特征提取器，分别以模板图像和新的待匹配图片作为两个特征提取器各自的原始输入图片，提取两张原始输入图片中的同构特征，得到同构的第五特征图和第六特征图；

S11：将S10中得到的第五特征图和第六特征图进行相位相关求解，得到所述模板图像和所述待匹配图片之间的x方向上的平移变换关系；

S12：以预先经过训练的第七U-Net网络和第八U-Net网络作为两个特征提取器，分别以模板图像和新的待匹配图片作为两个特征提取器各自的原始输入图片，提取两张原始输入图片中的同构特征，得到同构且仅保留有原始输入图片之间的平移变换关系的第七特征图和第八特征图；

S13：将S12中得到的第七特征图和第八特征图进行相位相关求解，得到所述模板图像和所述待匹配图片之间的y方向上的平移变换关系，完成异构的模板图像和待匹配图片之间旋转、缩放和平移三种变换关系的位姿估计。

2.如权利要求1所述的基于神经网络的异构图像位姿估计方法，其特征在于，所述估计方法中的8个U-Net网络均预先进行训练，训练的总损失函数为所述模板图像和所述待匹配图片之间的旋转变换关系损失、缩放变换关系损失、x方向上的平移变换关系损失和y方向上的平移变换关系损失的加权和。

3.如权利要求2所述的基于神经网络的异构图像位姿估计方法，其特征在于，所述总损失函数中四种损失的加权权值均为1。

4.如权利要求2所述的基于神经网络的异构图像位姿估计方法，其特征在于，所述总损失函数中四种损失均采用L1损失。

5.如权利要求1所述的基于神经网络的异构图像位姿估计方法，其特征在于，所述估计方法中的8个U-Net网络相互独立，各自通过4个下采样的编码器层和4个上采样的解码器层来提取特征。

6.一种基于神经网络的异构图像配准方法，其特征在于，按照如权利要求1~5任一所述异构图像位姿估计方法得到模板图像和待匹配图片之间的位姿估计，然后将待匹配图片按照估计的变换关系同时进行旋转、缩放和平移变换，使其配准至模板图像，实现模板图像和待匹配图片之间的匹配拼接。