[发明专利]基于GAN和深度学习的换装行人再识别定位跟踪系统

权利要求书

1.一种基于GAN网和深度学习的对换装行人的再识别与定位跟踪系统，其特征在于，包括：行人目标检测模块、行人属性识别模块、换装样本生成模块、换装行人再识别模块、步态识别模块和定位跟踪模块，其中：行人目标检测模块从监控视频流中提取出行人的位置信息并提取出只包含一个行人的帧级图片，行人属性识别模块通过内置的神经网络经训练后提取出帧级图片中拥有预设行人属性特征的可能性，由此识别出帧级图片中行人所拥有的属性特征并存入数据库，换装样本生成模块基于数据库中已有的行人图片数据和行人属性数据对帧级图片进行换装换姿态处理，并得到样本扩充图片作为训练集以提高换装行人再识别模块的行人再识别的准确率；换装行人再识别模块对帧级图片进行再识别并得到该行人的身份数据，步态识别模块将帧级图片转化为一系列行人步态剪影并进行步态特征计算以识别出该行人的身份信息，经与换装行人再识别模块识别出的身份数据进行综合，并使用综合的结果进行二次行人身份识别以提高识别的准确率，定位跟踪模块根据二次行人身份识别的结果和来自行人目标检测模块的已知的监控点中行人出现的时序，对行人的活动轨迹进行定位与跟踪；

所述的再识别是指：换装行人再识别模块通过内置的深度神经网络经训练后计算出目标行人的身份特征向量值，并计算与数据库中保存的所有行人的特征向量值的距离，当该距离在设定的阈值范围内，则认为是同一个人；该换装行人再识别模块包括：模型训练单元、数据读取单元、模型处理单元和匹配结果单元，其中：模型训练单元读取换装样本生成模块生成的数据集中的图片，并进行相应的预处理后以前述数据集中的训练集为训练集对再识别模型进行训练，数据读取单元读取经由行人目标检测获取的行人图片，通过行人数据库保存并输出至模型处理单元，模型处理单元与匹配结果单元相连并输出经过模型处理后的图片特征，匹配结果单元的输出作为本模块的输出数据，与数据库中的特征进行匹配，输出行人图片的识别结果；

所述的行人属性识别模块包括：数据读取单元、模型训练单元和模型处理单元，其中：数据读取单元、模型训练单元与模型处理单元相连并分别输入读取的图片数据和输出训练后的属性提取模型，模型处理单元采用训练后的属性提取模型，从输入数据中提取出的行人属性数据并输出至JSON文件中；

所述的属性提取模型是指：使用DeepMAR算法，利用PETA数据集中的训练集训练后的模型；

所述的训练是指：利用PETA提供的数据集和相应的属性信息，输入至DeepMAR算法中，利用DeepMAR本身的神经网络架构，通过比较模型对于PETA数据集中的图片的识别结果和PETA提供的相应的属性信息，对模型的参数进行优化，从而实现模型的训练；

所述的行人属性数据包括：行人的年龄、性别，服装颜色、款式，头发的颜色、长短以及是否携带有配饰；

所述的换装样本生成模块包括：图片特征编码单元、特征对抗生成单元和图片特征解码单元，其中：图片特征编码单元将来自行人目标识别模块分割出的行人图片的行人图片读入图片特征编码单元，并经规范处理后通过行人图片编码器对规范处理后的规范输入图像进行提取特征及编码后得到图片特征并输出至图片特征解码单元，特征对抗生成单元生成高斯噪声并输入内置的对抗生成网络以对抗生成网络训练方式得到行人前景特征并输出至图片特征解码单元，图片特征解码单元使用图片特征编码单元中已经训练好的行人图片编码器，将输入图片图片属性特征中的前景特征图中的某些向量替换为特征对抗生成单元生成的输出向量，并将替换后的特征图和未被替换部分的特征图重组为一张行人换装图片，作为整个换装样本生成模块的输出，输出至换装行人再识别模块；

所述的编码是指：将单张行人图像，利用特征提取的算法和模型进行姿态、前景和背景信息的提取，得到图片对应的若干特征图；

所述的图片特征是指：将行人图片视为姿态、前景和背景三部分，对每一部分利用算法或训练好的模型进行提取，得到图片对应的二维分布的特征值，即特征图；

所述的换装样本生成模块通过DG-Net网络进行行人图像对抗生成，该DG-NET网络的鉴别器产生动态概率标签；该换装样本生成模块将动态概率标签更新为：D＝0.9D(G(a_i，s_i))+0.1D_a，其中：D为概率权重，D_a为属性概率，即将原概率权重修改为0.90，添加一个权重0.10的属性概率，该属性概率标签通过对于换装前后图片年龄段、性别、眼镜、饰品的属性的变化比例来提供概率。