[发明专利]基于姿态指导行人图像生成的孪生生成式对抗网络的行人重识别方法

说明书

本发明公开了一种基于姿态指导行人图像生成的孪生生成式对抗网络的行人重识别方法。其实现方案是：根据行人图像数据集，对行人图像进行目标检测获取训练样本；构建基于多样性样本生成的孪生生成式对抗网络模型，该模型对目标检测后输入的两组行人图像的姿态属性信息互换，实现多样性样本的生成；构建基于保持身份特征的孪生生成式对抗网络模型，该模型利用身份判别器保留生成行人图像的身份信息，从而提升行人重识别对生成行人图像身份的鲁棒性；针对生成式对抗网络优化困难的问题，构建基于多目标优化的孪生生成式对抗网络参数学习方法；为了验证提出的行人重识别方法的有效性，对生成行人图像构成的数据集进行行人重识别方法验证。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于姿态指导行人图像生成的孪生生成式对抗网络的行人重识别方法。

背景技术

随着人工智能技术的快速发展并且广泛应用于城市安防领域，研究深度学习、图像识别基础理论和关键技术的有着很重要的意义。行人重识别可以实现监控网络中多个摄像头视域内检索出特定目标行人的功能，它是利用计算机视觉方法判断图像或者视频序列中是否存在特定行人的技术，为跨摄像头的行人搜索提供了技术支撑。目前，行人重识别的关键在于行人特征表示和行人相似性度量两个步骤，深度学习在这两个方面都有很好的效果，近年来已经成为行人重识别领域的研究热点。由于深度学习模型需要大量样本进行参数训练，基于数据生成的行人重识别方法开始吸引学者的研究。因此，行人重识别方法大致可以分为三类：基于特征表示的行人重识别，基于度量学习的行人重识别，基于数据生成的行人重识别。

在行人重识别中，特征表示的优劣是行人能否被准确重识别的关键因素之一，特征表示方法研究主要集中在行人表观信息的特征提取和表示上，现有的行人特征表示方法主要分为人工设计特征和深度学习特征，其中人工设计特征包括底层特征和具有属性特性的中层特征。近年来，深度学习被广泛应用于行人重识别中的特征学习方面，相比于手工特征，深度学习模型对行人特征表达具有更好的判别性，因为深度学习技术可以提取到图像中抽象的高层特征。基于特征表示的行人重识别方法主要利用行人外观的特征信息，然而行人外观易受环境变化、行人行为以及摄像头参数的影响，导致该类行人重识别方法的识别效果不理想。

基于行人相似性度量方法从行人样本中学习最优的相似性度量计算方法来匹配相同的行人，区分不同的行人。当使用特征向量表示行人图像之后，常采用标准距离(如曼哈顿距离、欧氏距离和巴氏距离等)对两个特征向量进行相似性度量。然而，同一行人在跨越多个无重叠区域摄像头时，其外貌特征随着视角、光照、遮挡等因素的影响发生很大的变化，标准的距离度量方法效果不理想，因为它们平等地对待每一种特征，而不会摒弃那些独立使用时效果很差的特征。国内外的研究者们还提出了基于深度度量学习的行人相似性判别方法，具体目标为同一行人的不同图像相似度大于不同行人图像的相似度，深度网络的损失函数使得相同行人图片(正样本对)的距离尽可能小，不同行人图片(负样本对)的距离尽可能大。基于相似性度量学习的方法是由数据驱动实现的，需要通过训练大量的有标记数据，得到一个能反映样本特征的度量函数。在行人识别问题中，数据总量很大，但单个样本的数据量很小，如何利用少量样本学习有效的度量标准是行人识别的难点。

研究基于数据生成的行人重识别方法，可以解决行人重识别问题主要的难点问题，即个体行人的数据太少的问题，该问题不利于模型学习高效、鲁棒的特征表示和度量准则。

发明内容

发明目的：本发明目的在于克服上述现有技术的不足，提出了一种基于姿态指导行人图像生成的孪生生成式对抗网络的行人重识别方法。

本发明研究基于深度学习的方法，利用生成式对抗网络生成一系列标准的姿态图像，并且利用这些生成的图像扩充行人数据集以提升行人重识别网络的判别能力。