[发明专利]一种基于视角引导多重对抗注意力的行人重识别方法

说明书

本发明公开了一种基于视角引导多重对抗注意的行人重识别方法，属于监控视频检索技术领域。本发明通过引入视角引导的注意力机制和多重对抗学习实现跨视角行人重识别效果的提升。首先，以对抗的方式使用视角信息对注意力机制的学习进行监督，在进行直接监督的同时使生成的注意力图能够抗视角变化。其次，在基础特征学习模型中引入多重对抗约束，进一步增强特征的视角不变性，从而使最终学习到的特征更强健。本发明提出的模型的有效性在Market1501和DukeMTMC‑ReID数据集上都得到了证明。同时本发明提出的模型易于集成到现有的行人重识别模型，并进一步有效的提升性能。

技术领域

本发明属于监控视频检索技术领域，具体地涉及一种基于视角引导多重对抗注意力的行人重识别方法。

背景技术

近些年，行人重识别广泛应用于行人追踪和刑侦搜索等方面。行人重识别技术就是在跨摄像头的条件下，将不同地点，不同时间出现的相同的行人联系起来。行人重识别方法主要结合计算机视觉技术对行人进行特征学习，并设计合适的度量进行特征匹配。

学习鲁棒的特征对提升行人重识别算法的性能十分重要，而行人的姿态变化，摄像头视角变化，背景遮挡，光照变化以及图像分辨率变化等都会造成特征失真。因此，如何学习强健的能够抗各种变化的特征是目前行人重识别问题的研究热点。

目前主流的行人重识别算法都基于深度学习网络框架，深度学习将行人特征学习与度量结合形成端到端的网络，大幅提升了行人重识别算法的性能。深度卷积神经网络的基本训练和测试步骤如下：

1、准备数据，将数据集分为训练集和测试集。

2、将训练集的数据放入深度卷积神经网络进行训练，其中包括，基础网络的构建，三元组的构建，损失优化等。

3、使用训练好的模型对query集和测试集的图片进行特征提取和特征匹配。

对抗学习使用生成器和判别器来形成对抗的模型，生成器希望尽可能生成逼真的样本从而不能被判别器区分，而判别器希望尽可能将生成的样本和真实样本区分开，从而通过对抗的方式使生成样本尽可能接近真实样本。

注意力机制能突出信息区域，抑制噪声模式。按照注意力机制的作用域，可以分为三类：1)空间域注意力通过空间转换来提取关键信息。2)通道域注意力考虑通道间的依赖性并相应的调整通道权重。3)混合域注意力是空间域和通道域注意力的结合，它同时关注特征的空间信息和通道信息。

目前注意力机制也逐渐在行人重识别领域变得火热，基于注意力机制的方法也取得了不错的性能。但是目前的方法存在两点局限性：1)现有的注意力机制只在与特征进行结合后的最终阶段被监督。注意力图的学习缺少直接的监督，因而难以判别学习到的注意力图对最后的表达是否是有益的。2)现存的注意力策略关注设计复杂的结构同时忽略了重要的摄像头ID信息，使学习到的特征表达对视角变化敏感。

发明内容

针对现有技术存在的问题，本发明所要解决的技术问题就是对现有的基于注意力机制的行人重识别方法进行改进。提出了一种基于视角引导多重对抗注意力的行人重识别方法，借用对抗学习的思想，将视角信息引入注意力机制，对注意力机制的学习进行直接监督并考虑其是否能抓取有信息量且视角无关的部位。

本发明所要解决的技术问题是通过这样的技术方案实现的，它包括：

步骤1、构建深度神经网络

深度卷积神经网络主要包括特征学习模块，多重对抗模块，视角引导注意力机制模块，所述的特征学习模块采用多种基于ResNet50网络的基础模型，输入行人图片进行特征学习得到特征；所述的多重对抗模块在基础ResNet50的每个残差块后接一个全局池化层和视角鉴别器；所述的视角引导注意力机制模块主要为注意力图生成器和视角鉴别器；

步骤2、深度卷积神经网络的训练