[发明专利]基于异构双网络和特征一致性的行人重识别模型训练方法

说明书

本发明公开了一种基于异构双网络和特征一致性的域自适应行人重识别模型训练方法、设备、装置及计算机存储介质和行人重识别方法，本发明设计了一个异构双网络框架，它包含两个非对称分支，其中一个使用感受野有限的卷积来获取局部信息，另一个使用Transformer模块来捕获长程依赖，利用异构双网络的互学习来提高网络间的异质性和互补性，从而提高对噪声伪标签的鲁棒性；为了减少网络在优化过程中受噪声伪标签的干扰，提出了特征一致性损失，其不需要依赖任何标签信息，更关注样本在特征空间的一致性；为了增强网络的语义信息，本发明设计了一个自适应通道互感知模块，对行人的显著性区域进行特征提取，从而提高了行人重识别的精度与效率。

技术领域

本发明涉及机器视觉技术领域，尤其是指一种基于异构双网络和特征一致性的域自适应行人重识别模型训练方法、设备、装置及计算机存储介质和行人重识别方法。

背景技术

行人重识别在机器视觉领域是一个非常重要的研究课题，传统的行人重识别主要是利用大量有标签的图像数据在特定场景下进行训练。虽然有监督学习方法已经取得很好的效果，但是获取有标记数据需要耗费大量的人力和物力。此外，在实际应用中，行人在不同场景下外观、背景和光照条件都是不同的，从而导致在一个数据集上训练的模型不能够很好的直接应用到另一个数据集上，因此如何将行人重识别模型泛化到其他域是一个研究难点。

无监督域自适应旨在将从有标记的源域数据集学习到的知识应用于未标记的目标域数据集上。其中基于聚类生成的伪标签方法被证明是有效的，它利用源域预训练得到的模型，在目标域中进行特征提取和聚类，聚类得到的伪标签作为真实标签进行常规的行人重识别模型的训练。但该方法仍然存在以下问题：（1）由于未知的目标域身份数量和不精确的聚类结果，伪标签中含有大量噪声，模型的训练会严重受到伪标签噪声的干扰，并且在初始伪标签噪声较大的情况下，模型的训练有较大的崩溃风险。（2）由于数据集中测试集与训练集中的身份是不同的，并且在推理过程中，行人重识别任务是通过提取行人的特征进行行人间的匹配，因此如何在特征空间对模型进行优化是至关重要的。然而，传统的无监督域自适应行人重识别任务忽略了样本在特征空间中的一致性。（3）由于图像中含有大量嘈杂的背景，如何提高网络关注行人显著性的语义特征的能力是一个重要问题。

因此，如何提供一种不受噪声干扰，关注特征空间一致性并提升语义特征能力的行人重识别模型训练方法是目前待解决的问题。

发明内容

为此，本发明所要解决的技术问题在于克服现有技术中训练过程严重遭受伪标签噪声干扰的问题。

为解决上述技术问题，本发明提供了一基于异构双网络和特征一致性的域自适应行人重识别模型训练方法、设备、装置及计算机存储介质和行人重识别方法，包括：

预先构建行人重识别异构双网络，所述行人重识别异构双网络包括第一分支网络、第二分支网络和双分支自适应通道互感知模块，所述第二分支网络包括Transformer模块；所述双分支自适应通道互感知模块用于同时捕获所述第一分支网络提取的局部特征和所述第二分支网络中Transformer模块提取的全局特征进行增强并将其拼接；

将无标签目标域图像输入利用有标签的源域数据集预训练后的所述行人重识别异构双网络中；

获取所述第一分支网络的第一时间平均模型和所述第二分支网络的第二时间平均模型；

将所述第一时间平均模型提取的特征与所述第二时间平均模型提取的特征的平均值进行聚类，生成硬伪标签；

利用所述第一时间平均模型与所述第二时间平均模型预测所述无标签目标域图像，生成软伪标签；

构建特征一致性损失函数，以便利用所述第一时间平均模型提取的特征监督所述第二分支网络提取的特征，利用所述第二时间平均模型提取的特征监督所述第一分支网络提取的特征；

利用所述硬伪标签分别训练所述第一分支网络和所述第二分支网络直至分类损失函数和三元组损失函数收敛；