[发明专利]一种基于全局-局部特征动态对齐的行人重识别方法

权利要求书

1.一种基于全局-局部特征动态对齐的行人重识别方法，其特征在于，包括如下步骤：

步骤1)挑选行人重识别数据集，对数据集中的训练集进行预处理；

步骤2)使用预训练的模型ResNet50进行模型的初始化；

步骤3)选取残差网络作为基础骨架，构建全局粗粒度特征学习分支、局部细粒度特征学习分支；

步骤4)采用全局粗粒度特征学习分支学习行人粗粒度的全局特征，采用欧式距离计算全局分支的全局距离；

步骤5)采用局部细粒度特征学习分支学习行人细粒度的局部特征，采用局部滑动对齐计算局部分支的局部对齐距离；

步骤6)采用困难样本挖掘三元组损失、中心损失和Softmax交叉熵损失联合作为行人重识别网络的监督器，训练行人重识别模型；

步骤7)将待查询行人图像作为行人重识别网络模型的输入，分别学习行人的全局特征和局部特征，并将全局特征和局部特征进行融合作为行人最终的特征描述符；然后从候选图库中进行识别，计算查询图片和候选库中所有图片之间的特征欧氏距离，并对距离进行排序，从候选库中识别出与查询图像距离最短的行人作为最终的识别结果；

所述步骤5)中学习行人细粒度的局部特征，采用局部滑动对齐计算局部分支的局部对齐距离的过程如下：

步骤5.1)对局部分支的特征图划分水平条纹，分别使用和代表图像A和B的局部特征，其中k为步骤3.4)中水平池化后的条带数；

步骤5.2)对局部细粒度特征学习分支的水平条纹设置滑动窗口，并设置滑动窗口W的大小及滑动窗口的步长s；

步骤5.3)分别求解滑动窗口中的局部最短对齐距离，由此获得整个特征图的全局最短对齐距离；具体为：用D_A和D_B表示图像A和B采用局部滑动对齐相互匹配的最短距离集合；首先计算图像A或B的局部条纹的最短对齐距离然后将其加入到集合D_A或D_B；最后得到图像A和B的最短对齐距离L^dis。

2.根据权利要求1所述的基于全局-局部特征动态对齐的行人重识别方法，其特征在于，所述步骤1)中，所述行人重识别数据集选用Market-1501，对数据集中的训练集进行预处理具体为：首先将所有训练和测试的图像大小调整为384×128；然后通过随机水平翻转、随机擦除、随机裁剪和图像像素值的归一化，随机增加一些遮挡、旋转的样本来增强训练数据。

3.根据权利要求2所述的基于全局-局部特征动态对齐的行人重识别方法，其特征在于，所述步骤2)中对基础网络ResNet50模型初始化的过程如下：

步骤2.1)使用ImageNet上预先训练的权重进行ResNet50模型的初始化；

步骤2.2)设置批处理的大小，在每个批次中随机选取不同身份的样本进行采样，并从训练集中为每个身份随机选取若干张图像；

步骤2.3)设置全局分支和局部分支的困难样本挖掘三元组损失的权重；

步骤2.4)选择Adam作为模型的优化器；训练模型设置Epochs的大小为300，其中学习率在前100个Epochs为3.5×10^-3，在100至200个Epochs之间学习率为3.5×10^-4，在200个Epochs之后学习率下降到3.5×10^-5，权重衰减设置为10^-5；

步骤2.5)使用标签平滑来平滑样本的分布；

步骤2.6)在PyTorch平台上实现的最终的模型，并使用NVIDIA2080Ti GPU对模型进行训练。

4.根据权利要求1所述的基于全局-局部特征动态对齐的行人重识别方法，其特征在于，所述步骤3)中对残差网络ResNet50改造为基础网络，即GLDFA-Net网络结构，输入图像经过ResNet50骨干网络的堆叠卷积层后，由全局粗粒度特征学习分支和局部细粒度特征学习分支共享特征图；对于全局特征，直接对特征图做全局平均池化得到；对于局部特征，先对特征图做水平分区，并通过局部平均池化得到每个水平条带的特征向量，再采用LSA计算局部对齐距离，并结合全局距离用于三元组损失的困难样本挖掘，最后将全局特征和局部特征进行组合作为最终的特征表示，并经过全连接层和Softmax层以实现图像的分类。