[发明专利]一种基于深度表示学习跟动态匹配的行人再识别方法

说明书

本发明公开了一种基于深度表示学习跟动态匹配的行人再识别方法，用于判别在不同时间或者区域的行人身份。包括：构建特征提取模型，用于提取全局、局部特征，利用全局特征、局部特征进行联合学习；实现不同行人局部特征之间的动态匹配，使用三元组损失函数进行学习模型；取检索库和查询库中行人图片的全局特征，计算查询库行人和检索库行人的全局特征间的相似度分数，并利用相似度分数进行排序，获取查询库中行人在检索库中所对应的行人。本发明利用全局特征跟局部特征进行联合学习，其中实现了局部特征之间的对齐，这样使得模型学习到的全局特征同时关注了局部信息跟全局信息。缓解了行人再识别中的局部不对齐问题，提升了模型再识别的性能。

技术领域

本发明涉及计算机视觉领域，更具体地，涉及一种基于深度表示学习跟动态匹配的行人再识别方法。

背景技术

行人再识别可以看作是行人检索问题，具体是给定一个查询行人，在一个大的特定的行人数据集中检索出来具有相同身份的行人。随着深度学习的兴起，深度表示学习方法可以说是统治着这个领域，基于传统特征的行人再识别方法已经渐行渐远。这是因为，深度学习方法能够通过网络自行学习具有区分性的行人特征。即便如此，在现实场景中，行人往往存在着姿态的变化、摄像头的视角变化、行人跟摄像头之间的距离差异性大等等这些现象，进一步会导致不同行人之间他们的局部不对齐，也就是说，图像中相应的位置表示的行人部件不一致。这样在匹配计算相似度过程中，往往会造成一定的误差，致使建立的模型泛化性能下降。

为了解决行人局部特征之间的不对齐问题，有研究人员提出一些深度表示学习方法利用行人部件的局部特征，对它们进行整合，尝试通过这样的方法实现行人局部特征之间的对齐。目前常用的基于部件的行人再识别方法主要有以下几种：

利用图像切块的方式提取局部特征。通过把原始的图像切割成多个水平条纹来实现行人间的局部特征对齐，最后的特征通过融合每个水平条纹的特征来使得模型更加关注局部，而不仅仅是关注行人的全局特征。比如，PCB(基于部件的卷积神经网络基线)(YifanSun.Beyond part models：Person retrieval with refined part pooling.In ECCV，2018.)通过把行人图像平均切分成水平条纹，再使用一种机制，重新把像素分配到相应的条纹。

基于姿态估计跟关键点估计的局部对齐方法。这个方法先是利用姿态估计模型估计出人体的关键点，然后利用仿射变换使得相同的关键点对齐，从而使得人体不同的部位有了相对应的对齐。但是这种方法会依赖于一个外部的姿态估计、关键点估计模型。CVPR2017的工作Spindle Net(Haiyu Zhao，Maoqing Tian.Spindle net：Person re-identification with human body region guided feature decomposition and fusion[C].CVPR，2017.)利用了14个人体关键点来提取局部特征。

虽然有了一定的方法来解决行人局部特征之间的对齐问题，但是对齐的效果仍然有着较大的提升空间。在基于水平条纹的图像切块方法中，一些姿态变换、遮挡、不正确的检测框等依旧会造成行人之间存在着很大的不对齐；而在就姿态估计跟关键点估计的局部对齐方法中，需要额外的监督信息，并且需要一个姿态估计的步骤；更为糟糕的是，姿态估计过程中会存在倾向估计错误的情形；如此一来，行人局部特征之间的对齐更加不可行。

发明内容

为了解决行人局部特征之间的不对齐问题，本发明提出了一种基于深度表示学习跟动态匹配的行人再识别方法，该方法把行人进行水平切割，但是允许水平条纹之间可以有重叠，假设条纹之间通过弹簧来连接，如此实现动态匹配，进一步实现行人间的匹配。

本发明的目的通过以下的技术方案实现：一种基于深度表示学习跟动态匹配的行人再识别方法，包括步骤：

步骤S1：获取不同摄像头下的行人图片，构建行人检索库和查询库；