[发明专利]一种基于全局与局部特征的对抗学习跨模态行人重识别方法

说明书

本发明公开了一种基于全局与局部特征的对抗学习跨模态行人重识别方法，包括：将选定的可见光图像样本集X^v和红外图像样本集X^t作为训练数据；将可见光图像样本和红外图像样本输入所构建的具有注意力机制的特征提取网络获取特征；将从具有注意力机制的特征提取网络获得的可见光特征f_i^v、红外特征f_i^t输入局部特征学习模块进行操作；将从具有注意力机制的特征提取网络获得的可见光特征f_i^v、红外特征f_i^t输入预测一致性模块进行操作；将可见光拼接特征f_i^v′和红外拼接特征f_i^t′输入对抗学习模块进行处理。本发明可有效减小可见光和红外特征的模态差异，大大提高了跨模态行人重识别的检索率。

技术领域

本发明属于计算机视觉技术领域，涉及到特征提取与处理以及减小模态差异的方法，尤其涉及一种基于全局与局部特征的对抗学习跨模态行人重识别方法。

背景技术

行人重识别(Re-ID)是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术，被认为是一个图像检索的子问题。由于行人重识别在计算机视觉领域和实际视频监控应用中具有广泛的应用前景，因此受到了学者们越来越多的关注。近年来，单模态行人重识别得到了快速发展，并取得了良好的识别性能。单模态行人重识别一般拍摄可见光图像，主要解决相机带来的视图变化，以及行人姿势和背景不同造成的模态内差异问题。单模态行人重识别所检索的图像大多为白天所拍摄的图像，但现实生活中往往很多场景都是在夜晚或者黑暗环境下发生，例如许多犯罪事件往往在晚上发生。单模态行人重识无法满足这部分场合的要求。

跨模态行人重识别由可见光相机和红外相机拍摄可见光图像和红外图像。由于可见光相机和红外相机光谱的波长不同会带来两种图像之间的模态差异。跨模态行人重识别既要解决单模态行人重识别的模态内差异问题，又要解决可见光图像和红外图像两种不同模态的异质数据模态间差异问题。为此，研究者们提出一系列的解决方案。如Zhu等人利用一种双通道局部特征网络学习局部特征，并提出异中心损失约束两种异构模态的中心，以此监督网络学习模态不变的信息表示(Neurocomputing,2020,386:97-109)。Wei等人使用一种自适应分割策略进行分块得到局部特征，同时将全局特征与局部特征结合学习判别特征和模态不变特征(IEEE Transactions on Neural Networks and Learning Systems,2021,pp.1-12)。但是，这些方法仍然存在下述缺陷：不能充分提取全局与局部特征，对特征的鉴别性差，无法有效消除模态差异。

发明内容

本发明的目的在于克服现有技术的缺陷，提供一种基于全局与局部特征的跨模态行人重识别方法，通过引入的注意力机制提取深层特征、局部特征与全局特征进行身份匹配以及生成对抗网络来减小模态差异。

为解决上述技术问题，本发明采用以下技术方案。

一种基于全局与局部特征的对抗学习模态行人重识别方法，包括以下步骤：

S1.将选定的可见光图像样本集X^v和红外图像样本集X^t作为训练数据。其中，可见光图像样本集为红外图像的样本集为每个样本集包含M个行人，标签集为Y＝{y_i|i＝1,2,…,N}，N代表可见光图像或红外图像的数量；

S2.在卷积神经网络的基础上，加入注意力机制模块，以此构建具有注意力机制的特征提取网络；将可见光图像样本和红外图像样本输入具有注意力机制的特征提取网络获取特征；所述的具有注意力机制的特征提取网络，包括模态特定子模块和模态共享子模块模态特定子模块包含可见光子模块和红外子模块模态共享子模块包含3个卷积块；