[发明专利]一种基于全局与局部特征的对抗学习跨模态行人重识别方法

权利要求书

1.一种基于全局与局部特征的对抗学习模态行人重识别方法，其特征在于，包括以下步骤：

S1.将选定的可见光图像样本集X^v和红外图像样本集X^t作为训练数据；其中，可见光图像样本集为红外图像的样本集为每个样本集包含M个行人，标签集为Y＝{y_i|i＝1,2,…,N}，N代表可见光图像或红外图像的数量；

S2.在卷积神经网络的基础上，加入注意力机制模块，构建具有注意力机制的特征提取网络；将可见光图像样本和红外图像样本输入具有注意力机制的特征提取网络获取特征；所述的具有注意力机制的特征提取网络，包括模态特定子模块和模态共享子模块模态特定子模块包含可见光子模块和红外子模块模态共享子模块包含3个卷积块；

S3.将从具有注意力机制的特征提取网络获得的可见光特征f_i^v，红外特征f_i^t输入局部特征学习模块进行操作，得到可见光局部特征f_i^vp和红外局部特征f_i^tp、可见光局部降维特征f_i^vp′和红外局部降维特征f_i^tp′、可见光局部标签特征f_i^vp″和红外局部标签特征f_i^tp″、可见光拼接特征f_i^v′和红外拼接特征f_i^t′；

S4.将从具有注意力机制的特征提取网络获得的可见光特征f_i^v、红外特征f_i^t输入预测一致性模块进行操作，得到可见光全局特征f_i^vg和红外全局特征f_i^tg、可见光全局标签特征f_i^vg′和红外全局标签特征f_i^tg′；

S5.将可见光拼接特征f_i^v′和红外拼接特征f_i^t′输入对抗学习模块进行处理。