[发明专利]基于邻居样本信息引导的跨域行人再识别方法

说明书

本发明设计了一种基于邻居样本信息引导的跨域行人再识别方法，该方法采用pytorch框架构建网络。该方法关注邻居样本信息对样本特征更新的重要作用，基于图卷积神经网络，并整合了共同邻居相似度。通过源域数据监督训练图卷积模块，然后将整合样本信息的能力迁移至目标域，帮助目标域数据聚类。相比于同类方法，本发明提出的图卷积神经模块进一步地利用了源域的监督信息，进而提高跨域行人再识别性能。

技术领域

本发明可以应用于跨域行人再识别领域，以pytorch作为卷积神经网络以及图卷积神经网络的搭建框架，利用源域和目标域数据均可通过整合邻居样本信息能力来帮助分类的特点构建跨域行人再识别框架以提高跨域行人再识别性能。

背景技术

行人再识别技术可广泛应用于视频追踪领域，用于解决跨摄像机和跨场景下的行人识别与检索，因此一直以来都是计算机视觉领域的研究热点。

行人再识别的研究领域可以分为单域行人再识别和跨域行人再识别。单域行人再识别指的是模型在一个有标签的数据集上进行训练以及预测；而跨域行人再识别通常指利用有标签的源域数据和无标签的目标域数据进行训练，然后在目标域测试集上进行测试。

随着深度学习的蓬勃发展，有监督的单域行人再识别精度已经达到了较高的水平，但是其不能得到广泛推广，原因有两点：首先，收集标签耗时费力，另外由于域间差异性，其不能实现一次训练，处处部署目的。因此近年来，基于跨域行人再识别的研究更具有现实意义。

针对跨域行人再识别的研究方法主要可分为两类：一是基于生成式对抗网络进行源域图片到目标域图片的风格迁移，以减小二者的域间差异性；二是基于聚类算法为目标域数据赋伪标签，再用带有伪标签的目标域数据去微调卷积神经网络。然而第一类方法忽略了目标域数据自身的特性：相同身份的样本自然的相似性和不同身份样本自然的不相关性，因此实验精度不高。第二类方法可以利用到目标域数据自身的性质，然而由于传统聚类算法只考虑样本自身特征，忽略了邻居样本信息对聚类的重要作用。

发明内容

本文基于上述第二类方法，基于聚类方法为目标域数据赋伪标签，并采用图卷积神经网络整合邻居样本信息，考虑到源域数据和目标域数据特征都可以由各自的邻居信息进行更新，因此利用有标签的源域数据去监督训练图卷积神经网络模块，然后将整合邻居信息的能力从源域迁移至目标域，达到为目标域数据聚类和赋伪标签的作用。

本发明提供了一种基于邻居样本信息引导的跨域行人再识别方法，该方法的关键在于构建一个图卷积神经网络模块，该模块可以整合样本邻居信息。通过源域数据进行训练，然后将该模块应用于目标域数据，也即将整合邻居信息的能力迁移至目标与域，这样就可以为目标域选择出正样本对，便于之后的聚类以及赋伪标签过程。

一种基于邻居样本信息引导的跨域行人再识别方法，包括如下步骤：

步骤1，首先构建一个图卷积神经网络模块，该模块整合了样本邻居信息，通过源域数据进行训练，然后将该模块应用于目标域数据，也即将整合邻居信息的能力迁移至目标域，为目标域选择出正样本对，便于之后的聚类以及赋伪标签过程；

所述图卷积神经网络模块包括四个部分：亲属子图，四个图卷积层，一个全连接层，以及一个二分类层；

步骤2，由源域数据联合交叉熵损失函数和三元组损失函数预训练卷积神经网络模块，然后用预训练后的卷积神经网络模块提取源域数据特征F_s，基于源域数据特征F_s和源域数据标签Y_s，训练提出的图卷积神经网络模块；

步骤3，将目标域数据输入到已初始化的卷积神经网络模块，得到目标域数据特征F_t，然后将特征F_t输入到训练好的图卷积神经网络模块，得到目标域数据的正样本对，基于正样本对进行聚类；