[发明专利]基于风格转换和联合学习网络的域自适应行人再识别方法

说明书

本发明为一种基于风格转换和联合学习网络的域自适应行人再识别方法，包括一、利用源域数据集对神经网络模型进行预训练；二、对目标域数据集中的行人图像进行风格转换；三、对每张行人图像进行预处理；四、将同一张行人图像采用两种预处理方式得到的图像输入到两个神经网络模型中提取特征，将两个高阶特征保存至两个存储器中；两个高阶特征进行聚类，得到伪标签；将同一张行人图像的两个高阶特征进行融合，融合后的高阶特征存储在联合存储器中；五、基于伪标签训练两个神经网络模型，基于联合存储器同步训练两个神经网络模型；六、重复第四、五步并在训练过程中计算两个神经网络模型的识别精度，将识别精度最佳的神经网络模型用于行人再识别。

技术领域

本发明属于计算机视觉中的图像数据处理技术领域，具体地说是一种基于风格转换和联合学习网络的域自适应行人再识别方法。

背景技术

行人再识别是一项判断在跨时空的不同摄像头之间是否存在特定行人的技术，此项技术对于行人特征的挖掘更倾向于整体一致性，而不局限行人打扮是否一致、脸部是否有遮挡等具有代表性的细节特征。目前，该技术在智能安防、无人超市、人机交互等多个领域有着广泛应用，行人再识别无论在学术界还是工业界都有着重要的研究价值和研究需求，如何准确匹配不同相机下的同一行人身份是行人再识别技术的重要内容。

现有的行人再识别主要分为有监督、无监督和域自适应三种方式，有监督的行人再识别虽然可以达到很高的准确率，但是需要完整的带标签的数据集进行训练且泛化能力差。相比之下，无监督的方式无需数据集的标签，但是它的准确率比较低，往往不能达到工业要求的标准。而域自适应的方式结合了前两种的优点，它将数据集分为有标签的源域数据集和无标签的目标域数据集，然后将在源域数据集上训练模型得到的先验知识迁移到目标域数据集上利用，从而在不利用目标域数据集标签的情况下达到期望的准确率。

域自适应的行人再识别方法按照不同的模型构建思路可以分为基于域分布对齐的域自适应方法、基于域风格转换的域自适应方法、基于聚类的域自适应方法这三类。基于域分布对齐的域自适应方法通常需要利用额外的属性信息或是单独设计损失函数，目的是拉近目标域和源域的数据分布，从而使目标域可以更好适用源域的先验知识。由于域分布对齐往往需要考虑更多的因素，所以应用在跨域行人再识别方向的效果往往差强人意。基于域风格转换的域自适应方法，GAN(Generative Adversarial Networks)为数据集的扩充提供了一种新的思路，域风格转换的方法就是利用GAN生成不同风格的行人图像，将这些图像作为目标域数据集的一部分同等加入到训练集中，由于该方法过度依赖于生成图像的质量，导致准确性普遍低于有监督的行人再识别。基于聚类的域自适应方法，通过网络提取图像特征并利用聚类算法打上伪标签，并将这些伪标签视为数据集的标签加入到网络中进行训练。这种方法可以有效地解决目标域缺乏标签的问题，在大量实验中被证明具有良好的效果。但是它的缺陷是模型的准确性过度依赖于聚类产生的伪标签的质量，而且随着模型的迭代，伪标签的噪声会越来越大。