[发明专利]一种基于互相关注意力机制的跨模态行人重识别方法

权利要求书

1.一种基于互相关注意力机制的跨模态行人重识别方法，所述方法包括：

步骤1)，数据加载。包括数据预处理、缩放和裁剪以及数据选择。

步骤2)，设计轻量级残差神经网络架构作为特征提取器。

步骤3)，每个特征图按照顺序被分解作为序列化数据输入到互相关注意力模块中得到注意力特征，经过全连接层，输出为特征向量。

步骤4)，为满足测试要求，训练一个生成器网络，为每张图片生成其对应的跨模态图。

步骤5)，计算真实图与生成图的KL散度，作为生成器网络的训练损失的一部分。

步骤6)，测试阶段中，输入图像经过网络得到特征向量。将query图的特征向量，与gallery中的图像特征向量分别计算与欧氏距离，找到距离最近的图片。

2.根据权利要求1所述的基于互相关注意力机制的跨模态行人重识别方法，其特征在于：

步骤3)要按照顺序将特征图分解，在Transformer中，先通过卷积操作得到每种图像(RGB或红外)的每个块的三维的Q、K、V矩阵，让每个Q分别于所有的K做逐像素点积，然后得到的结果值再与各自的V做逐像素点积，这样即做了每种图像内部的注意力，又做了跨模态的注意力，这也是互相关注意力机制的核心所在。

3.根据权利要求1所述的基于互相关注意力机制的跨模态行人重识别方法，其特征在于：

步骤5)中的生成器使用的是标准的GAN，将单模态的共享特征与特有特征通过生成器重建图像与原始的图像做损失来训练GAN，为了增强GAN的重建能力使用循环一致性损与重建损失相结合，共同训练GAN。

4.根据权利要求1所述的基于互相关注意力机制的跨模态行人重识别方法，其特征在于：

步骤6)为每个损失添加一个权重参数，来调节每种损失在网络训练过程中的重要性，具体的参数值是在大量的实验中依据经验所得。

5.根据权利要求1所述的基于互相关注意力机制的跨模态行人重识别方法，其特征在于：

整个网路是分阶段、端到端实现的，分阶段指的是前一部分的epoch用来训练生成器，后面部分训练整个网络，整个过程从输入到输出无需终止，完全端到端实现。