[发明专利]一种无人机多光谱影像配准方法

权利要求书

1.一种无人机多光谱影像配准方法，其特征在于，包括下列步骤：

步骤1：设置并训练多光谱影像配准网络模型：

所述多光谱影像配准网络模型包括基于特征提取单元和偏差回归单元；

其中，特征提取单元基于卷积神经网络提取输入图像块的影像特征；

特征提取单元的输入图像块为：对参考图像和当前的待配准图像，在相同图像位置提取矩形的图像块，得到参考图像块和待配准图像块，并记录图像块的提取位置；对参考图像块和待配准图像块进行图像堆叠处理，将堆叠图像块作为特征提取网络的输入图像块；其中参考图像和待配准图像为同一时刻采集的不同波段的光谱影像；图像块的提取位置包括图像块的四个顶点；

偏差回归单元，包括池化层和两个全连接层，其中池化层的输入为特征提取单元输出的影像特征，且采用的池化方式为自适应平均池化；池化层的输出经过两个全连接层，用于输出待配准图像块与参考图像块的四个顶点的坐标偏差；

对多光谱影像配准网络模型的训练处理为：

对训练数据集中的待配准图像I_t和参考图像I_c，提取特征提取单元的输入图像块并送入特征提取单元，并将提取位置记为C_4pt；

将特征提取单元输出的影像特征输入偏差回归单元，并将偏差回归单元输出的坐标偏差记为O_4pt；基于C_4pt与O_4pt计算待配准图像I_t与参考图像I_c之间的单应性矩阵H；根据单应性矩阵H调整用于单应性变换的空间变换网络的网络参数；

再将当前的待配准图像I_t输入空间变换网络，基于空间变换网络的输出得到变换图像I_{t_w}；

计算图像I_{t_w}与参考图像I_c之间的金字塔式结构相似性损失，并基于金字塔式结构相似性损失设置多光谱影像配准网络模型的损失函数；当损失函数的值满足预设的收敛条件时，保存训练好的多光谱影像配准网络模型；

其中，多光谱影像配准网络模型的损失函数为：对图像I_{t_w}和I_c分别进行K级下采样处理，且下采样倍率逐级递增或递减，并计算第k级下采样后的图像I_{t_w}和I_c之间的图像相似度SSIM_k；并将1-SSIM_k作为第k级的损失函数值；累加K级的损失函数值得到多光谱影像配准网络模型的当前损失函数值；

步骤2：基于训练好的多光谱影像配准网络模型进行光谱影像配准处理：

对同一时刻采集的参考图像I′_c和待配准图像I′_t提取特征提取单元的输入图像块，并送入特征提取单元，记录图像块的位置坐标信息为C′_4pt；

将特征提取单元输出的影像特征输入偏差回归单元，并将偏差回归单元输出的坐标偏差记为O′_4pt；基于C′_4pt与O′_4pt计算待配准图像I′_t与参考图像I′_c之间的单应性矩阵H′；并基于单应性矩阵H′对待配准图像I_t′进行单应性变换，得到配准结果。

2.如权利要求1所述的方法，其特征在于，步骤1中，图像相似度SSIM_k为图像之间的亮度相似性、对比度相似性和结构相似性的乘积。

3.如权利要求1所述的方法，其特征在于，特征提取单元的网络结构采用ResNet-34。

4.如权利要求3所述的方法，其特征在于，特征提取单元的最大池化层的步长设置为2。

5.如权利要求1所述的方法，其特征在于，步骤1中，对图像I_{t_w}和I_c分别进行3级下采样处理，各级下采样倍率依次为：4、8和16倍。