[发明专利]图像关联方法、装置、设备和介质

权利要求书

1.一种图像关联方法，其特征在于，所述方法包括：

获取目标X光图像以及与所述目标X光图像相关的多个自然光图像；所述目标X光图像包括目标监控对象；

对所述目标X光图像进行特征提取，获得第一全局特征图；对所述多个自然光图像进行特征提取，获得所述多个自然光图像对应的多个第二全局特征图；

将所述第一全局特征图以及所述多个第二全局特征图输入预测模型，获得所述多个自然光图像中与所述目标X光图像匹配的目标自然光图像；所述目标自然光图像包含所述目标监控对象；

所述将所述第一全局特征图以及所述第二全局特征图输入预测模型，获得所述多个自然光图像中与所述目标X光图像匹配的目标自然光图像，包括：

将所述第一全局特征图以及所述多个第二全局特征图输入所述预测模型进行特征提取，获得所述第一全局特征图的多个局部特征图，以及每一所述第二全局特征图的多个局部特征图；

根据所述第一全局特征图、所述第一全局特征图的多个局部特征图、所述多个第二全局特征图以及每一所述第二全局特征图的多个局部特征图，确定第一稳定特征图以及第二稳定特征图；所述第一稳定特征图为所述目标X光图像对应的特征图中与拍摄模态无关的特征图，所述第二稳定特征图为所述自然光图像对应的特征图中与拍摄模态无关的特征图；

所述根据所述第一全局特征图、所述第一全局特征图的多个局部特征图、所述多个第二全局特征图以及每一所述第二全局特征图的多个局部特征图，确定第一稳定特征图以及第二稳定特征图，包括：

对特征图F_VIS和特征图F_X进行乘运算，获得运算结果P；

若P满足：P∈R^HW×HW，则确定所述特征图F_X为所述第一稳定特征图，所述特征图F_VIS为所述第二稳定特征图；

其中，所述特征图F_X为所述第一全局特征图以及所述第一全局特征图的多个局部特征图中的任意一个，所述特征图F_VIS所述多个第二全局特征图以及每一所述第二全局特征图的多个局部特征图中的任意一个，P∈R^HW×HW为所述特征图F_VIS和所述特征图F_X乘运算的运算结果P，与所述特征图的二维矩阵HW与所述特征图的二维矩阵HW经过矩阵乘法运算的运算结果相同，则所述特征图F_VIS与所述特征图F_X对应，所述R为特征图的二维矩阵的尺寸，H为特征图的二维矩阵的高，W为特征图的二维矩阵的宽；

根据所述第一稳定特征图以及所述第二稳定特征图，获得多个重建特征图，根据所述多个重建特征图确定所述目标X光图像与所述自然光图像之间的相似度；

所述根据所述第一稳定特征图以及所述第二稳定特征图，获得多个重建特征图，包括：

将所述特征图F_VIS和所述特征图F_X代入如下公式，获得所述特征图F_VIS对应的重建特征图Ḟ_VIS：

其中，M_VIS(i)为特征图的响应强度，P(i,j)为特征图间的特征对应关系，F_X(j)为特征图F_X的列数，F_VIS(i)为特征图F_VIS的行数；

将所述特征图F_VIS和所述特征图F_X代入如下公式，获得所述特征图F_X对应的重建特征图Ḟ_X：

其中，M_X(i)为特征图的响应强度,P(i,j)为特征图间的特征对应关系，F_VIS(j)为特征图F_VIS的列数，F_X(i)为特征图F_X的行数；

将所述多个自然光图像中相似度最大的图像确定为所述目标自然光图像。