[发明专利]一种基于无监督跨模态的行人重识别方法

说明书

本发明公开了一种基于无监督跨模态的行人重识别方法，包括以下步骤：S1、使用具有跨模态标签的源数据集预训练一个局部特征提取网络；S2、使用S1预训练好的局部特征网络初始化单模态聚类跨模态匹配框架的三个网络；S3、使用负责单模态的网络提取模态特定的特征用于单模态聚类；S4、使用负责混合模态的网络输出模态共享的特征计算聚类中心，并进行不同模态聚类的匹配和融合，得到新的伪类标；S5、利用得到的伪类标，使用三元组损失对这三个网络同时进行有监督训练；S6、重复步骤S3至S6多次，直到伪类标被更新15次。本发明不仅考虑了域差异的问题，也考虑了模态差异的问题，从而学习得到跨模态跨域的具有鲁棒性的特征。

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于无监督跨模态的行人重识别方法。

背景技术

无监督跨模态行人重识别这一问题主要是为了解决行人重识别方法在夜晚环境下检索的鲁棒性不足以及跨模态标签难以获取的问题。在夜晚环境下光照严重不足，传统可见光摄像头容易失效，甚至连行人都难以捕获。这种情况下单独使用可见光模态的图片进行检索会导致效果大幅下降。

无监督行人重识别当前可以分为两大类，一种是域适应(domain adaptive)的无监督行人重识别，即有一个带标签的源数据集和一个不带标签的目标数据集。一种则是纯的无监督(pure unsupervised)行人重识别，即只有一个不带标签的目标数据集，最多只能使用ImageNet数据集预训练的网络。两种无监督行人重识别的目标都是在无标签的目标数据集上实现成功的检索。对于域适应的无监督行人重识别，当前的方法可以分为几种，一种是在目标数据集上生成伪类标，一种是利用对抗生成网络(GAN)做不同域之间的分布拉近。SSG使用DBSCAN聚类方法对输出特征图的不同分块做不同的聚类得到同一张图片不同的伪类标，接着利用三元组损失函数对这些伪类标进行学习。SPCL则提出一种对比学习的方法，同时区分对目标数据集聚类得到的类别，源数据集的类别以及没有被聚类的离群点。HHL使用GAN将目标域图片生成具有不同摄像机参数以及背景但仍然保持原有ID信息的图片，并视生成的图片与原图片为同一个类别进行学习。

然而，当前跨模态的行人重识别方法大多数是有监督的，而跨模态标签的获取难度很大，这极大地限制了这些方法在新场景的应用。在一个场景下搜集标注的数据集上训练得到的模型，由于难以避免的过拟合问题，很难直接应用到另一个新场景中去，其效果会由于场景的差异而下降。故而每有一个新场景，为了达到比较好的效果，就需要重新搜集并标注数据集，在其上进行训练。这样的代价是高昂的。由于没有考虑模态差异的问题，当前无监督行人重识别的方法在无监督跨模态行人重识别任务上效果会大幅下降，学习得到的特征对于夜晚环境的鲁棒性不足。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提出一种基于无监督跨模态的行人重识别方法，不仅考虑了域差异的问题，也考虑了模态差异的问题，从而学习得到跨模态跨域的具有鲁棒性的特征。

为了达到上述目的，本发明采用以下技术方案：

一种基于无监督跨模态的行人重识别方法，包括以下步骤：

S1、使用具有跨模态标签的源数据集预训练一个局部特征提取网络；

S2、构建单模态聚类跨模态匹配框架，框架包括三个网络，其中两个网络负责不同模态图片，学习模态特定的特征，另一个网络负责混合模态的图片，学习模态共享的特征，使用训练好的局部特征提取网络及其参数初始化单模态聚类跨模态匹配框架的三个网络；

S3、使用负责单模态的网络提取模态特定的特征用于单模态聚类；

S4、使用负责混合模态的网络输出模态共享的特征计算聚类中心，并进行不同模态聚类的匹配和融合，得到新的伪类标；

S5、利用得到的伪类标，使用三元组损失对三个网络同时进行有监督训练，训练迭代多代；