[发明专利]由黑衣和头部图像指导的换衣行人重识别方法及装置

说明书

本发明公开一种由黑衣和头部图像指导的换衣行人重识别方法及装置，该方法包括：首先，使用新设计的遮挡衣服方法对原始图像进行处理获得到对应的黑衣图像，将得到的黑衣图像放在黑衣分支进行预训练；然后对框架进行联合学习，将原始行人图像放入原始分支并使用预训练好的黑衣分支指导原始分支学习；同时，将行人头部图像放入到头部分支中从而获得更细粒度的行人特征。本发明将所有行人的衣服进行遮挡，从而获得了黑衣图像，使得行人的衣服颜色统一，从而使模型更加关注衣服颜色以外的部分，从而提高模型健壮性；且能有效地利用原始图像中的信息，有效减少黑衣图像获取过程中的信息丢失，提高特征的鲁棒性。

技术领域

本发明涉及行人重识别技术领域，尤其涉及一种由黑衣和头部图像指导的换衣行人重识别方法及装置。

背景技术

行人重识别的目的是解决不同条件下的行人检索问题，如不同的相机、不同的灯光或不同的观察角度。行人重识别研究有多种方法，如轻量级网络、域泛化、无监督学习等子领域，近年来都取得了不错的效果。但以上这些方法一般都假设一个人的衣服在长时间内保持一致。

但在现实世界中，人们的衣服不会一成不变。例如，人们在很长一段时间内总是穿着不同的衣服，而一些嫌疑人可能会在短时间内通过改变他们的衣服来逃避追踪。因此，一个不同版本的行人重识别问题被提出来了，它被称为长期换衣行人重识别，并成为当今的一个热点问题。从长远来看，换衣行人重识别是当今的一个热点问题。解决换衣行人重识别的核心是提取仅与身份相关的具有鉴别性的相关特征。为了去除衣服的干扰项，研究人员通常采用两种通用策略。

第一是数据策略。常见的方法是构建一个大规模的数据集，其中每个人都应该有多张具有大量不同衣服的图片，然后强迫模型从这些图片中学习与衣服无关的特征。然而，纯粹靠人力来构建这样的换衣数据集是非常艰巨的，几乎不可能。因此，一些研究人员利用GAN或其他方式来扩展原始数据集。

第二是特征分离策略。常见的操作是将服装特征与其他身份特征分开。通过这样做，除了衣服以外的其他特征可以被用于身份判断。例如，杨等人采用行人的轮廓作为查询和图库，并利用极坐标来更好地获得行人的轮廓特征。然而，尽管从轮廓中学习可以获得与衣服无关的特征，但它同时也抛弃了很大一部分与衣服无关的特征(如头部)。除此之外，洪等人提出使用外观分支和形状分支来提取细粒度特征。然而，这种方法经常受到衣服不同颜色的影响，不能提取更多与衣服无关的稳健特征。

现有技术主要存在的问题：

1.现有的换衣行人重识别方法存在着需要大量的图像生成工作，需要大量的训练时间。

2.现有的换衣行人重识别方法经常受到衣服不同颜色的影响，不能提取更多的与衣服无关的稳健特征。

3.现有的换衣行人重识别方法多数采用传统的卷积神经网络作为训练网络，传统的卷积神经网络由于下采样和池化的原因带来了一定的损失。

4.现有的换衣行人重识别方法多数忽略了头部特征对整体判断的影响。

发明内容

本发明针对背景技术中上述问题，提出一种由黑衣和头部图像指导的换衣行人重识别方法及装置，使用非GAN的方法来提取图像中与衣服无关的特征，提出了新的遮挡衣服策略使所有行人的衣服趋于一致，强制模型去学习与衣服无关的稳健特征，采用改进后的Transformer作为训练网络，并单独设计了头部分支来获取原始图像的细粒度头部特征。

为了实现上述目的，本发明采用以下技术方案：

本发明一方面提出一种由黑衣和头部图像指导的换衣行人重识别方法，包括：

步骤1：从原始行人图像中删除衣服特征，得到黑色的衣服行人图像；

步骤2：使用预训练的HRNet对原始行人图像进行处理，得到原始行人图像中的行人头部图像；