[发明专利]多模态影像的端到端的模板匹配法

权利要求书

1.一种多模态影像的端到端的模板匹配法，其特征在于，该方法包括如下步骤：

步骤Sc、获取多模态影像，并分为训练样本集和测试样本集，所述训练样本集和测试样本集中均包括成对的模板图像和参考图像，且参考图像中的内容包含模板图像中的内容；

步骤S0、为训练阶段：构建特征提取网络A和B，并训练，得到训练后的特征提取网络A和B；具体如下：

步骤S00、构建特征提取网络A和B，所述特征提取网络A和B均为卷积神经网络结构，且下采样率相同；

步骤S01、选取训练样本集中成对的模板图像和参考图像，将模板图像输入特征提取网络A中，得到训练模板图像的特征图张量F1，将参考图像输入特征提取网络B中，得到训练参考图像的特征图张量F2；

步骤S02、在所述训练模板图像的特征图张量F1上随机选取N个不同大小，不同长宽比，不同位置的局部张量作为多粒度特征图张量集合；其中，N为自然数；

步骤S03、将所述多粒度特征图张量集合中的每一个元素作为卷积核，分别与训练参考图像的特征图张量F2进行傅里叶卷积，获得N张score map 1；

步骤S04、对各张所述score map 1进行上采样，得到多张score map 2，且上采样时上采样率与特征提取网络A和B的下采样率相同；

步骤S05、在各所述score map 2上施加多粒度对比损失函数，并根据损失函数值作为监督，使用反向梯度传播更新算法，对特征提取网络A和B中的参数进行更新，得训练后的特征提取网络A和B；

步骤S1、为推理阶段，选取测试样本集中成对的模板图像和参考图像，将模板图像输入训练后的特征提取网络A中，参考图像输入训练后的特征提取网络B中，傅里叶卷积后，得到score map1*图像，对score map1*图像上采样后得到score map 2*图像，在score map 2*上选取score值最大的位置作为匹配点。

2.根据权利要求1所述的一种多模态影像的端到端的模板匹配法，其特征在于，在所述步骤S05中，所述多粒度对比损失函数如下：

其中，s_ip表示score map 2上正确匹配位置的score值；

s_ij表示score map 2上所有位置的score值；

R代表scor map 2的整个位置空间；

τ代表温度系数；

N代表特征张量F1中选取的多粒度卷积核个数。

3.根据权利要求1或2所述的一种多模态影像的端到端的模板匹配法，其特征在于，在所述步骤S1中，得出最佳匹配点的推理的过程如下：

步骤S10、将待处理图像的模板图像和待处理图像的参考图像输入训练后的特征提取网络A和B，获得对应的特征图张量F1^*和F2^*；

步骤S11、分别将各特征图张量F1^*作为卷积核，与对应的特征图张量F2^*进行傅里叶卷积获得一张score map 1^*；

步骤S12、对一张所述score map 1^*进行上采样，得到一张score map 2^*，其中，上采样率与训练后的特征提取网络A和B的下采样率相同；

步骤S13、在该张所述score map 2^*上根据不同匹配位置上的score值，选取score值最大的位置作为最佳匹配点，即：

其中：s_k表示score map 2^*上位置k的score值，

R代表score map 2^*上所有的位置。

4.根据权利要求3所述的一种多模态影像的端到端的模板匹配法，其特征在于，所述多模态影像为多模态遥感影像、多模态医学图像或多模态自然图像。

5.根据权利要求4所述的一种多模态影像的端到端的模板匹配法，其特征在于，所述模板图像和参考图像以任意尺寸输入。