[发明专利]基于孪生语义自编码器和分支融合的行人重识别方法

说明书

本发明提供了一种基于孪生语义自编码器和分支融合的行人重识别方法，该方法步骤为：构建一个行人重识别数据集和其孪生数据集，训练一个卷积自编码器；把卷积自编码器的编码器网络作为特征提取骨干网络来提取孪生特征向量，训练一个孪生语义自编码器，并借助其编码部分网络权重构建一个语义自编码分支网络；将卷积自编码器的编码器网络作为行人重识别骨干网络，对其进行分支构建，训练得到一个完整的行人重识别网络模型；将待识别行人图像和待查询行人图像集分别输入到训练好的模型中，提取出经过多层次特征融合后的行人重识别特征，经相似度排序实现行人重识别。本发明能显著提高行人重识别网络模型的鲁棒性和行人重识别的精度。

技术领域

本发明属于人工智能及计算机视觉技术领域，具体的说是涉及一种基于孪生语义自编码器和分支融合的行人重识别方法。

背景技术

行人重识别任务为当前计算机视觉技术领域中应用较为广泛的一个图像识别任务，尤其在行人监控方面有着关键应用。另外，属性识别任务同样可应用于行人监控，通常作为行人重识别或者行人检测等任务的辅助任务。行人重识别的目的是从非重叠摄像画面中找到被查询的人，而属性识别的目的是预测图像中存在的属性，属性能够描述一个人的详细信息，包括性别、配饰、衣服长短颜色等，在行人重识别任务中使用属性信息作为辅助，可提高识别算法的鲁棒性，提升识别的准确率。

此前的行人重识别方法，多采用ResNet等卷积神经网络作为骨干网络来进行特征提取。

ZL2019105493455公开了一种基于姿态指导行人图像生成的孪生生成式对抗网络的行人重识别方法，该方法是利用可解释卷积神经网络通过实现对输入行人图像进行特征提取，利用注意机制对多种遮挡模式进行跨通道表示，进而提升行人检测性能，但是这种识别方式利用的卷积网络过于庞大，效率比较低，行人重识别网络模型的鲁棒性以及行人重识别的精度低，而且对于细节特征的指向性比较强，不容易聚焦全局信息，适用范围不够广。

ZL2020100926087公开了一种融合行人属性的行人重识别的方法，将行人属性和行人识别分支的特征向量融合，而这里的行人属性为预测的，使用乘积的方式完成两个实行分支特征向量的融合，虽然这种识别方法的有一定的精度，但是预测值会存在误差。

发明内容

为了解决上述问题，本发明提供了一种基于孪生语义自编码器和分支融合的行人重识别方法，该方法使用卷积自编码器作为骨干网络，然后进行分支构建以及多层次特征融合。

为了达到上述目的，本发明是通过以下技术方案实现的：

本发明是一种基于孪生语义自编码器和分支融合的行人重识别方法，该行人重识别方法具体包括如下步骤：

S1：收集行人图像，并标记行人身份标签和属性标签，构建一个行人重识别数据集；随后再对其中每张图像分别进行数据增强处理，得到该数据集的一个孪生数据集；

S2：利用S1中行人重识别数据集训练一个卷积自编码器；

S3：利用S2卷积自编码器的编码器网络提取行人重识别数据集和其孪生数据集中所有图像的特征向量，其中，给定一张图像和其经过数据增强后的图像，经过卷积编码器所提取出的两个特征向量可并称作孪生特征向量；

S4：利用S3中提取的孪生特征向量，与相应的属性标签信息进行配合，对一个孪生语义自编码器进行预训练，保存其输入层到隐含层之间的网络权重参数，并利用该部分权重参数构建一个语义自编码分支网络，该分支网络的输出可称为语义属性特征向量；

S5：将S2中卷积自编码器的编码器网络作为骨干网络，并对其进行分支构建以及多层次特征融合，构建一个完整的行人重识别网络；

S6：将S1行人重识别训练数据集输入到S5中的行人重识别网络中，利用自构建的损失函数对网络进行迭代训练，最终得到一个基于孪生语义自编码器和分支融合的行人重识别网络模型；