[发明专利]一种基于双向语义对齐聚类的跨域行人再识别方法与装置

说明书

本申请涉及计算机视觉和模式识别技术领域，更为具体来说，本申请涉及一种基于双向语义对齐聚类的跨域行人再识别方法与装置。所述方法包括：基于至少三个分支模型构建跨域行人识别模型；基于源域数据集和目标域数据集训练跨域行人识别模型；行人数据；其中，三个分支模型为第一分支模型、第二分支模型和第三分支模型，各分支模型均包含有主干网络和特征表达模块。本申请使跨域行人识别模型进行三分支的特征学习，分别引入了三个人体分割约束，采用字典学习和稀疏编码框架来学习原始特征空间的语义基，利用更可靠的源域语义元素来更全面地度量目标域样本间的相似度，使跨域行人识别模型在识别目标行人时更为精准，进而提升了行人再识别的效率。

技术领域

本申请涉及计算机视觉和模式识别技术领域，更为具体来说，本申请涉及一种基于双向语义对齐聚类的跨域行人再识别方法与装置。

背景技术

近年来，随着计算机视觉和模式识别技术的发展，智能监控技术正逐步替代人工检索对监控视频中的内容进行自动化分析。智能监控技术不仅可以显著提升数据处理的效率，而且可以从海量的视频图像数据中挖掘有价值的信息，提高监控的质量。

现有行人再识别技术通常采用有监督学习的方式，从某个带标注的数据集上学习具有区分性的多层次特征表达，并在该数据集上取得了优越的识别性能。然而，将带标注的数据集(源域)上学习好的模型直接应用到另外一个无标注的数据集(目标域)上，如果这两个域的分布差异较大，会导致模型性能明显的下降。

发明内容

基于上述技术问题，本发明旨在使跨域行人识别模型进行三分支的特征学习，分别引入了三个人体分割约束，用来指导三个分支网络从上半身、下半身和全身人体图像中学习与人体相关的特征，采用训练好的跨域行人识别模型识别目标行人数据。

本发明第一方面提供了一种基于双向语义对齐聚类的跨域行人再识别方法，所述方法包括：

基于至少三个分支模型构建跨域行人识别模型；

基于源域数据集和目标域数据集训练所述跨域行人识别模型；

采用训练好的跨域行人识别模型识别目标行人数据；

其中，所述三个分支模型为第一分支模型、第二分支模型和第三分支模型，各分支模型均包含有主干网络和特征表达模块。

在本发明的一些实施例中，所述源域数据集具有标签，所述源域数据集包括整体源域数据集、第一局部源域数据集和第二局部源域数据集，所述目标域数据集包括整体目标域数据集、第一局部目标域数据集和第二局部目标域数据集，所述跨域行人识别模型还包括域间处理模块和域内处理模块，所述基于源域数据集和目标域数据集训练所述跨域行人识别模型，包括：

将整体源域数据集和整体目标域数据集同时输入第一分支模型，得到第一源域特征和第一目标域特征；

将第一局部源域数据集和第一局部目标域数据集同时输入第二分支模型，得到第二源域特征和第二目标域特征；

将第二局部源域数据集和第二局部目标域数据集同时输入第三分支模型，得到第三源域特征和第三目标域特征；

将所述第一源域特征、第二源域特征、第三源域特征、第一目标域特征、第二目标域特征和第三目标域特征输入域间处理模块，得到域间处理结果；

将第一目标域特征、第二目标域特征和第三目标域特征输入域内处理模块，得到域内处理结果；

基于域间处理结果和域内处理结果得到所述目标域数据集的假标签；

基于假标签训练所述跨域行人识别模型，直至训练好为止。