[发明专利]一种基于多粒度块特征的无监督行人重识别方法

权利要求书

1.一种基于多粒度块特征的无监督行人重识别方法，融合不同粒度的块特征表示，深入挖掘无标签数据集的潜在身份判别信息，包括以下步骤：

步骤1)计多粒度块特征提取模块，将行人图像送入多粒度块特征提取模块，首先通过骨干网络获得行人图像的特征图，并将获取的行人特征图输入三个不同粒度的块生成网络，得到三种粒度的块特征，然后输入块判别性学习损失子模块，得到具有更强判别力的块特征；

步骤2)设计单粒度实例判别性学习模块，分别将具有相同粒度的块特征组合成多个单粒度实例特征，然后将单粒度实例特征分别进行单粒度实例判别性学习损失计算，使模型能够同时学习不同粒度的单粒度实例特征；

步骤3)设计多粒度实例判别性学习模块，将多粒度块特征提取模块提取的块特征组合成一个多粒度实例特征，然后将该多粒度实例特征进行多粒度实例判别性学习损失计算，使模型学习到多粒度全局特征表示；

步骤4)将块判别性学习损失、单粒度实例判别性学习损失以及多粒度实例判别性学习损失的加权和作为总损失训练整个模型；

步骤5)测试阶段，行人图像经过多粒度块特征提取模块，得到不同粒度的块特征后，将其首尾连接作为最终的多粒度行人特征表示，通过计算查询图像与图像库中图像的相似度，返回重识别结果。

2.根据权利要求1所述的一种基于多粒度块特征的无监督行人重识别方法，其特征在于：所述步骤1)的多粒度块特征提取模块，获得具有丰富外观信息的块特征表示，具体为：

1.1)多粒度块特征提取模块由一个基础CNN特征提取网络以及三个不同的块生成网络PGN_3P、PGN_4P与PGN_6P构成；其中，PGN_3P和PGN_4P在无标签数据集上进行初始化以及微调，用于获取无标签数据集上较大尺度的块级特征；PGN_6P在一个辅助数据集上预训练并固定网络参数，用于获取数据集间所共有的小尺度图像块特征；

将待识别的无标签行人图像输入多粒度块特征提取模块，首先通过一个基础CNN特征提取网络，得到输入行人图像的初始特征图；然后将该初始特征图分别输入三个块生成网络PGN_3P、PGN_4P与PGN_6P，分别得到三组具有不同粒度的块特征，分别是PGN_3P、PGN_4P与PGN_6P生成的3个、4个以及6个块特征，共13个不同粒度的块特征，每个块特征的维度大小均为2048维，这些不同粒度的块特征具有不同的语义信息，相互补充从而挖掘潜在的判别信息；

1.2)为了减少特征的冗余度，使用一层全连接层将这些块特征向量降维到256维，并输入块判别性学习损失子模块，进行块判别性学习损失计算，以获得具有更强判别力的块特征。

3.根据权利要求1所述的一种基于多粒度块特征的无监督行人重识别方法，其特征在于：所述步骤2)的单粒度实例判别性学习模块，学习不同粒度的身份判别信息，具体为：

2.1)首先，多粒度块特征提取模块输出的13个256维的块特征通过一层全连接层，降维到128维，得到13个128维的块特征；

2.2)然后，分别将这13个128维的块特征中具有相同粒度的块特征进行首尾相连，得到3个单粒度实例特征；

2.3)最后，基于硬难例三元组损失设计单粒度实例判别性学习损失，并将3个单粒度实例特征分别进行单粒度实例判别性学习损失计算，使模型能够同时学习不同粒度的单粒度实例特征。

4.根据权利要求1所述的一种基于多粒度块特征提取的无监督行人重识别方法，其特征在于：所述步骤3)的多粒度实例判别性学习模块，学习多粒度全局特征表示，具体为：

3.1)首先，将多粒度块特征提取模块输出的13个256维块特征进行首尾连接，得到一个3328维的特征向量；

3.2)然后，将该3328维特征向量送入全连接层，将其维度扩展为4096维；

3.3)最后，基于Softmax分类损失设计多粒度实例判别性学习损失，并将该4096维特征向量进行多粒度实例判别性学习损失计算，使模型学习到多粒度全局特征表示。