[发明专利]一种利用目标姿势进行生成的行人重识别方法

权利要求书

1.一种利用目标姿势进行生成的行人重识别方法，其特征在于：包括如下步骤：

Step 1：确定目标姿势生成的行人重识别模型的整体流程；

Step 2：设计生成识别算法所设计的约束条件和目标函数；

Step 3：确定模型算法的训练和测试过程；

所述步骤1包括如下步骤：

Step1.1：给定一张原始图像和目标姿态将其进行连接，并通过目标姿势行人所在的摄像头标签信息，利用生成器生成原始图像下拥有目标姿态的目标图像；同时利用生成器将真实的目标图像、原始图像的姿态和给定的目标摄像头的标签信息作为生成条件进行生成，生成真实图像下拥有原始图像姿态的图像；

Step1.2：将Step1.1中生成的目标图像和真实的目标图像先后通过resnet50网络进行特征的提取，进行特征的融合，得到融合后的目标图像Reid特征；同时将Step1.1中生成的拥有原始图像姿态的图像和真实的原始图像通过resnet50网络，得到融合后的原始图像的Reid特征；

Step1.3：将Step1.2得到的两个Reid特征进行余弦距离的度量；

所述步骤2包括如下步骤：

Step2.1：原始生成式对抗网络的目标函数：

其中p_data(x)和p_prior(x)分别代表真实数据x和高斯先验z～N(0,1)的分布，D(x)代表是判别器，G(z)代表是的生成器，在整个训练过程中针对生成器和判别器使用损失函数L_G＝L_GAN和L_D＝-L_GAN来迭代更新生成器和判别器的参数，最终使得整个GAN达到纳什平衡；

Step2.2：通过给定原始图像I_i和目标姿态以及目标摄像头的标签信息L_T通过生成器G_p生成原始图像下拥有目标姿态的目标图像并将与真实的目标图像I_j输入判别器D_p对生成具有目标姿态图像行进真假的判别，在系统中生成模型采用对抗损失，受到Conditional GAN的启发，加入摄像头标签作为条件；利用生成映射函数G_T:I_i→I_j将源域行人图像进行映射生成目标域行人图像，并且利用D_T来对生成的目标域进行判别，帮助生成器在跨域的reid模型的构建，目标姿势行人生成目标函数如下:

其中G_T代表生成器，L_T代表目标摄像头的标签，利用原始图像I_i和目标姿态生成目标姿态，同时判别器D_T对生成的和真实的图像进行判别，之后将和I_j输入resNet50网络进行特征的融合并输出向量V_j；

Step2.3：利用真实的目标图像I_j、源域摄像头的标签信息L_S和原始图像姿态通过生成器G_q生成目标图像下拥有原始姿态的原始图像并将与真实的原始图像I_i输入判别器D_q进行图像真假的判断；那么利用L_S源摄像头的标签和生成映射函数G_S:I_j→I_i将目标摄像头下图像重新生成回源摄像头下的图像，并且利用D_S来对图像进行判别，其对应的目标函数如下

最后，将和I_i输入resNet50网络进行特征的融合并输出向量V_i；

Step2.4：保证生成的目标域的生成质量，在这里借鉴CycleGAN的思想，使的源域生成目标域的图像再经过反向生成的图像与真实源域图像更加的接近，其目标函数如下：

Step2.5：接下来利用L₁范数来对生成的图像进行约束，使得生成的图像的人物的身份信息减少的最少，减少语义偏移造成的损失，其身份损失函数如下：

Step2.6：其中判别器要学会去判别哪个是真实的图像哪个是生成的图像，且判别器目标函数如下:

L_D＝-L_GAN (6)

Step2.7：通过以上的约束，最终可以得到如下的目标函数：

其中λ₁,λ₂分别为不同的权重系数，用来权衡生成图像和真实图像的之间的相关重要性；

Step2.8：最后对取得的特征向量V_i和V_j进行余弦距离的度量，以便判断是否为同一个行人:

2.根据权利要求1所述的一种利用目标姿势进行生成的行人重识别方法，其特征在于：所述步骤3训练和测试步骤如下:

Step3.1：在训练阶段，通过源域摄像头下的行人I_i、目标摄像头行人的姿态和给定的目标摄像头的标签信息L_T生成目标摄像头下的行人同时利用目标摄像头下的行人I_j、源摄像头下的行人I_i的姿态和给定的源摄像头下的标签信息L_S生成源摄像头下的行人来训练的生成对抗网络模型，同时使得生成器具有在给定摄像头标签信息的情况下生成该具有该摄像头的风格的行人，接下来训练的分类器，根据的I_i和通过特征提取网络进行特征提取，以及I_j和进行提取特征融合，然后进行距离度量从而达到reid的任务；

Step3.2：在测试阶段给定query图像集合gallery图像集的情况下，将query的图像I_i经过之前训练好的生成器和给定gallery图像的姿态和所在的摄像头下的标签信息，进行生成gallery摄像头相同风格下的query的图像利用相同的方法将I_j生成从而利用在训练阶段的训练的分类器和特征提取器对上面融合后的特征进行距离的度量。