[发明专利]一种红外与可见光图像自适应融合对齐方法及系统

权利要求书

1.一种红外与可见光图像自适应融合对齐方法，其特征在于，包括以下步骤：

S1、将热红外辐射图像和可见光图像的梯度进行编码，获得大小为H*W的特征图，H为示输入图像的高度，W为输入图像的宽，将特征图中对应的值作为得分，选取大于阈值的前K个最大值作为特征点的位置坐标；

S2、将以步骤S1得到的特征点位置坐标为中心的图像块，将图像块输入到特征描述生成器中，通过编码得到表征周围纹理区域的特征描述子D₁；

S3、将步骤S1获得特征点位置坐标进行上采样，与步骤S2得到的特征描述子D₁结合，得到包含纹理信息和结构信息的特征描述子D₂；

S4、将两组步骤S3得到的特征描述子D₂进行匹配，获得特征点之间的对应关系，根据对应关系得到透视变换矩阵；

S5、利用步骤S4得到的透视变换矩阵进行图像变换，将原始的热红外辐射图像和可见光图像映射到同一坐标体系中，通过透视变换矩阵进行两幅图像的变换，将表征同一物理位置的特征点映射在同一位置，然后将对齐后的热红外辐射图像和可见光图像进行融合，获得包含热红外和可见光信息的目标图片。

2.根据权利要求1所述的红外与可见光图像自适应融合对齐方法，其特征在于，步骤S2具体为：

S201、通过特征点的位置和所在层级，获取以特征点为中心的反应不同尺度的图像块，大小为32*32，作为特征描述生成器的输入；

S202、将热红外辐射图像片段和可见光图像片段送入特征点描述生成器Descriptor；

S203、使用对比学习方法训练特征点描述生成器，同时通过神经网络的卷积操作得到特征描述子D₁。

3.根据权利要求2所述的红外与可见光图像自适应融合对齐方法，其特征在于，步骤S201中，采用双线性插值的方式获取以相邻整数坐标为中心的图像进行加权求和，最后将所有的图像片段统一缩放到32*32的尺寸。

4.根据权利要求2所述的红外与可见光图像自适应融合对齐方法，其特征在于，步骤S202中，特征点描述生成器Descriptor由卷积网络组成，网络的输入为32x32大小的图像，输出L2归一化的128dim的特征描述符。

5.根据权利要求2所述的红外与可见光图像自适应融合对齐方法，其特征在于，步骤S203中，在训练过程中，每个输入的图片都要以概率p＝0.5进行旋转、裁剪、缩放，最后投影为32*32尺寸大小的图像作为网络的输入。

6.根据权利要求2所述的红外与可见光图像自适应融合对齐方法，其特征在于，步骤S203中，特征点描述生成器的损失函数包括：

InfoNCE Loss：

inf_i,vis_i＝2-L₂(inf_i,vis_i)

Triplet Loss：

其中，N为样本数量，L₂(inf_i,vis_imin)为距离样本inf_i最近的样本之间的距离，L₂(inf_imin,vis_i)为距离样本vis_i最近的样本之间的距离，inf_imin和vis_imin分别表示在距离矩阵中，除对角线上元素外，距离最小的元素；L₂(inf_i,vis_j)表示热辐射红外第i特征点描述子和可见光图像第j特征描述子之间的欧氏距离；inf_i,vis_j表示热辐射红外第i特征点描述子和可见光图像第j特征描述子之间的相似度度量。