[发明专利]一种基于多视角生成对抗网络的行人重识别方法

说明书

本发明涉及一种基于多视角生成对抗网络的行人重识别方法。所述多视角生成对抗网络利用经挑选的行人数据集进行训练，能够基于给定行人图像生成该行人正面、侧面以及背面三个固定视角下的图像，不仅能够扩充现有数据集，在训练阶段提升行人重识别网络性能；而且能够在测试阶段完善查询图像不同视角下的语义特征，从而进一步提升行人重识别网络的性能。所述多视角生成对抗网络灵活性强，可以与现阶段流行的行人重识别方法进行结合，充分利用已有方法的性能基础，也可以与简单的分类网络进行结合，且都能够提高行人重识别网络的性能。

技术领域：

本发明涉及图像生成领域，尤其涉及一种基于多视角生成对抗网络的行人重识别方法。

背景技术：

早期行人重识别的研究思路通常是先对行人图片提取手工特征,如颜色直方图、HOG等,然后使用相似性度量方法学习度量矩阵，如LMNN、XQDA等。随着深度学习的兴起，深度学习技术被广泛用于完成行人重识别任务，且性能远超传统方法。

目前基于深度学习的行人重识别方法大致可分为三类，第一类是基于全局特征的行人重识别方法，该方法主要思想是在训练网络时将行人重识别当作身份分类任务来学习行人特征，即首先通过卷积神经网络提取图像中的行人特征，然后根据得到的特征判断是否属于同一行人。以上所述都是基于全局的特征提取，即用从整个图像中得到一个特征向量。后来研究者们发现这类全局特征往往会忽略行人的一些不显著的细节，使模型的性能存在瓶颈。故有研究者提出了第二类方法，该方法基于行人的局部特征完成行人重识别任务。研究初期，常用图片切块的方式提取局部特征，这种方法对图像的对齐程度要求高，若两张图像没有对齐，则有可能出现不同部位对比的现象，从而影响模型的性能。为解决图像不对齐问题，一些研究者使用先验知识预先将行人对齐，如使用人体姿态估计和人体骨架关键点提取以及MGN等方法。实验证明，通过引入一个额外的对齐模型，虽然加大了系统开销，但能够提取到更丰富的细节信息，从而提高了模型性能。第三类是基于度量学习的行人重识别方法，该方法的主要思想是使具有相同ID的行人图像距离小，而不同ID的行人图像距离大。类似的方法有Triplet loss、Quadruplet loss以及Group similarity learning等。对现有基于特征距离的行人重识别技术所识别图像进行可视化分析发现，往往与查询图像属于同一视角或相近视角下的图像与查询图像的特征距离较小，即容易被识别到；而与查询图像视角偏差较大的图像与查询图像的特征距离较小，很难被识别到，从而限制了模型的性能。

本发明提出的基于PmGAN的行人重识别方法，能够基于给定行人图像生成该行人三个固定视角下的图像，不仅能够扩充现有数据集，在训练阶段提升网络性能；而且能够在测试阶段完善查询图像不同视角下的语义特征，从而进一步提升网络性能。本发明提出的PmGAN灵活性强，可以直接与现有行人重识别方法结合使用，从而充分利用已有方法的性能基础。

发明内容：

本发明的目的是克服现有方法的不足，提出一种基于多视角生成对抗网络的行人重识别方法,特别是涉及一种基于PmGAN的行人图像多视角生成，以解决单一视角下行人图像中特征向量不足的问题。

一种基于多视角生成对抗网络的行人重识别方法，其特征在于，包括如下步骤：

步骤1：从原始行人重识别训练集中挑选出图像作为提出的PmGAN(pedestrianmulti-view generation adversarial networks，行人多视角生成对抗网络)的训练集，基于挑选出的训练集训练提出的PmGAN；

步骤2：利用训练好的PmGAN对给定视角下的图像生成其他视角下的图像，并赋予生成图像与原图像相同的ID标签，最后把带标签的生成图像添加到原始训练集中，得到扩充的训练集，基于扩充的训练集训练行人重识别网络；

步骤3：利用PmGAN对查询图像进行多视角生成，完善查询图像的特征向量；