[发明专利]一种基于姿态引导生成对抗网络的行人重识别方法

权利要求书

1.一种基于姿态引导生成对抗网络的行人重识别方法，其特征在于：包括如下步骤：

S1：利用ResNet-50构建行人重识别模型的主干网络，用于提取行人特征；

S2：构建多尺度行人重识别网络MPN；用于融合不同尺度的行人特征；在ResNet-50网络模型的基础上，创建包含有三个分支的多尺度信息融合结构，用来提取网络中不同尺度的特征信息，所述三个分支分别为ResNet-50网络模型正常的主干网络预测分支一，在ResNet-50网络模型的stage-3和stage-4后分别加入的预测分支二和预测分支三，所述的预测分支一、预测分支二和预测分支三统称为多尺度分类模块；

S3：构建姿态转移模块PCM，用于融合行人的姿态和外观特征，姿态转移模块PCM是由若干个姿态转换块PCB级联组成；PCM将原始行人的外观编码C_m^A与融合原始姿态和目标姿态的姿态编码C_m,j^P进行融合，输出目标姿态的行人外观编码C_m,j^A，最终将C_mj^A输入反卷积网络中生成目标姿态的行人样本；PCB是一个独立的模块结构，PCB是一个双流的结构，一个是外观编码流，一个是姿态编码流，且两个流之间具有相互作用的结构，对于单个PCB来说，将外观编码流的输入记为f_i，将姿态编码流的输入记为p_i，则PCB在两个流的作用下，逐渐的输出f_i+1和p_i+1；PCB具体的原理如下：PCB主要是处理原始行人的外观数据分布，逐步的将其转换成目标行人姿态的外观数据分布，将姿态编码看作为一个姿态掩模，PCB主要是将这个姿态掩模作用到外观编码中，而姿态编码掩模中对应的是新的外观数据分布的权重，因此将姿态编码流的输入p_i经过卷积层的编码后，乘以一个权重系数后，将其与外观编码流的特征进行点乘操作；将姿态编码掩模记作M_p，则M_p的表达式为：M_p＝α·conν_p1(p_i)；其中，conν_p1代表姿态编码流的第一次卷积操作，主要包含三个卷积层和一个BN层；当得到姿态掩模之后，将其与外观编码数据进行融合，考虑到编码特征的网络层深度较高，容易产生梯度消失的问题，在外观编码流中引入了残差结构，外观编码流的输出记为：f_i+1＝M_p□[f_i+conν_f(f_i)]；其中，□代表矩阵点乘运算，conν_f代表外观编码流的卷积操作，与姿态编码流的卷积操作类似，也是由3个卷积层和一个BN层构成；单个PCB模块不足以将原始的外观编码数据分布直接转换到目标行人姿态的外观编码数据分布，因此需串联多个PCB模块处理数据，对于非最终的PCB模块来说，需将处理后的外观编码数据融入姿态编码数据中，输入到下一个PCB模块中，因此：p_i+1＝conν_p2[β·f_i+1+conν_p1(p_i)]；其中，conν_p2代表姿态编码流的第二次卷积操作；

S4：构建基于姿态引导的生成对抗网络PGGAN，用于生成不同姿态下的行人样本图像；PGGAN主要包括生成器网络G和判别器网络D，以及使用的对抗损失函数，其中生成器网络G包括行人外观编码器、行人姿态编码器、PCM模块和反卷积网络；编码器：使用ResNet-50网络中的卷积层作为行人外观编码器E_f，使用VGG-16网络中的卷积层作为行人姿态编码器E_p，在对姿态编码之前，首先将原始姿态和目标姿态沿通道方向进行叠加，将两个不同的姿态混合在一起送入编码器E_p进行编码；解码器：该模块主要分为两个部分：姿态转换模块和反卷积网络模块；判别器：主要包括外观判别器D_a和姿态判别器D_p，分别用来判断生成图片与原始图片的外观相似度和生成图片姿态与目标姿态的相似度；两个判别器均采用了ResNet-50网络结构提取特征，两个判别器的输入分别是生成图片与原始图片或生成图片与目标姿态热图叠加后的数据；两个判别器的输出得分分别记为R_a和R_p，R_a和R_p为softmax层的输出，整个判别器最终的得分记为两个判别器得分的乘积，即R＝R_a·R_p；

S5：设计联合训练策略，挖掘行人外观信息，克服姿态变化产生的影响，并提升生成样本图像的质量。