[发明专利]基于视角信息和批特征擦除的行人再识别方法

权利要求书

1.基于视角信息和批特征擦除的行人再识别方法，其特征在于包括如下步骤：

1)PSE网络模型的构建：以Resnet50为基本结构，Block1，Block2，Block3，Block4分别对应Resnet50的相应Block结构，在Block1之后加入一个视图分类器分支，该分支对行人图像进行一系列卷积操作之后，利用softmax得出关于行人图像“前、后、侧”方位的概率值，该值对图像的视角朝向做出预测；

2)PSE模型训练：该模型训练主要通过以下方法实现：

①对Resnet50的相关结构加载ImageNet预训练的权重参数作为初始化；

②使用含有方位标签的RAP数据集来训练视图分类器；

③将训练好的视图分类器迁移到PSE网络中，将视图分类器和Block1、Block2、Block3进行参数固定，使用行人再识别数据集训练视角单元，使得视角单元参数初始化；

④对所有的行人图像，采用DeeperCut模型提取行人全身14个关节点信息；

⑤将所提取的14个关节点作为输入，此时输入为17通道，固定所有的Block结构，微调网络的第一层和最后分类层，使网络适应17通道的输入；

⑥使用RAP数据集提取的关节点信息微调视图分类器；

⑦采用行人再识别数据集进行网络模型的训练；

3)BFE网络模型的构建：以Resnet50为基本结构，提取Globalbranch和Featureerasing branch两个分支，在Feature erasing branch分支，先加入一个Bottleneck结构，随后引入Mask结构，该结构对同一batch中的特征做随机擦除，且擦除区域相同，然后对剩余特征进行最大池化和降维，得到图像的细粒度特征，最后将两个分支提取到的特征向量融合作为输入行人图片的最终特征向量。

2.根据权利要求1所述的基于视角信息和批特征擦除的行人再识别方法，其特征在于所述步骤1)中当预测图像的视角方向为“前”，则softmax得出的“前”的概率值大，“后”和“侧”的概率值小。

3.根据权利要求1所述的基于视角信息和批特征擦除的行人再识别方法，其特征在于所述步骤3)中对BFE的批特征进行擦除时，当行人再识别的所有输入图像大致对齐的时候，该方法可以使同一批次的特征擦除相同的语义区间。

4.根据权利要求1所述的基于视角信息和批特征擦除的行人再识别方法，其特征在于所述步骤3)中在Block3之后加入视角单元结构，不同的视角单元用来学习行人图像不同的方位信息，批特征擦除分支在Block3结构之后加入，该分支由一个Block4结构、一个Bottleneck结构继续提取深度特征，之后经过批特征擦除方法，再进行池化、降维等操作，最终得到图像的细粒度特征。

5.根据权利要求1所述的基于视角信息和批特征擦除的行人再识别方法，其特征在于所述每个视角单元由一个1×1卷积层、一个卷积块注意模块，即CBAM、一个1×1卷积层，一个Batch normalization层和一个ReLu层构成，所述CBAM模块对输入的feature map按照两个独立的维度，即通道和空间做注意力映射。

6.根据权利要求1所述的基于视角信息和批特征擦除的行人再识别方法，其特征在于所述另一种网络模型训练过程包括如下步骤：

1)对Resnet50网络部分，加载其在ImageNet上训练好的权重参数，对骨架网络部分进行初始化；

2)使用RAP数据集训练视图分类器，学习率设定为0.0001；

3)将视图分类器和Resnet50相关结构参数固定，使用行人再识别数据集，仅微调视角单元部分和最后的行人身份标签分类层；

4)使用行人再识别数据集对整个网络进行训练。