[发明专利]一种面向监控视频的行人重识别方法

说明书

本发明给出一种面向监控视频的行人重识别方法。首先，为了有效处理视频帧之间的时间关系，在特征提取阶段采用融合了时空注意力机制的残差卷积模块，对时空信息进行建模，探索不同时空像素之间的关系，产生更具辨别性的特征；然后，为了缓解行人图像中因遮挡、姿态变化使行人特征无法充分表达的问题，在基础网络之后加入双分支网络进行特征提取，局部分支能够集合每个条纹中特定的判别信息，同时可以消除剩余条纹信息的影响，全局分支关注显著信息，用于提供全局特征。通过两个分支的特征级联来提升网络的特征学习能力。本发明利用时空注意力机制和双分支结构，实现了优异的视频行人重识别性能，具有广泛的适用性。

技术领域

本发明涉及图像处理技术，具体来讲，涉及一种面向监控视频的行人重识别方法，该方法结合时空注意力机制和双分支结构分别提取行人全局特征和细粒度局部特征，构建鲁棒的行人重识别网络。

背景技术

行人重识别是指利用计算机视觉技术，判断在不同时间段、不同监控下出现的行人图像是否属于同一人员的技术。行人重识别是最近几年在视频分析领域下热门的研究方向，可以看做是人脸识别应用的拓展。现在大街上的监控较多，由于设备质量、成像光线、成像角度、以及成像距离的因素，在监控视频中得到的人的特征往往是不清晰的，人脸的分辨率是不足以做人脸识别的，所以提出了根据行人的穿着、体态、发型等信息认知行人的ReID。可与行人检测、行人跟踪技术相结合，可以弥补目前监控摄像头的视觉局限性，可以广泛应用于监控、安防等领域。

行人重识别的具体工作包括特征提取和特征匹配两个步骤。传统的识别方法基于低级视觉特征，导致提取图像信息具有较多的局限性，在行人图像复杂多变的情况下不能提取到有效的特征。与传统的行人重识别方法不同，深度学习的行人重识别任务集成了特征提取与度量学习两个模块。目前主流的行人重识别方法大部分是基于单帧图像的，然而单帧图像给予的信息终究是有限的。此外，单帧的方法对图像质量要求很高，这对于相机的布置和使用场景是一个非常大的限制，因此研究基于视频序列的方法十分重要。计算机视觉中最常用的时间信息建模方法包括LSTM、3D卷积和Non-local操作。

行人重识别的研究面临着诸如图像分辨率低、视角变化、姿态变化、光线变化以及遮挡等带来的诸多挑战。监控视频的画面一般比较模糊，分辨率也比较低，所以利用人脸识别等方式无法进行重识别的工作，只能利用头部之外的人体外观信息进行识别，而不同行人的体型和衣着服饰有可能相同，这为行人重识别的准确率带来了极大的挑战；此外实际视频监控下的场景非常复杂，周边杂物较多，画面很容易出现遮挡等情况。行人重识别的图像往往采自于不同的摄像机，由于拍摄场景、摄像参数不同，这导致一个行人在不同摄像机下存在较大的差异，不同行人的外貌特征可能比同一个人的外貌特征更相似。以上情况都给行人重识别的研究带来了巨大的挑战。

发明内容

本发明的目的在于解决行人图像中因遮挡、姿态变化使行人特征无法充分表达行人信息导致的行人重识别准确率低的问题，鉴于注意力机制与局部特征学习方法对上述问题的鲁棒性，提出了结合注意力与局部特征提取的行人重识别算法，经所述方法可提高行人重识别的准确率。

为实现上述目的，本发明基于OSNet网络，提供一种面向监控视频的行人重识别方法，该方法采用嵌入了注意力机制的残差结构和双分支结构来达到更好的行人重识别准确率，其包括四个部分：第一部分是对数据集进行预处理，第二部分是对行人图像进行特征提取并将提取到的特征划分为全局特征和局部特征，第三部分是利用提取到的全局特征和局部特征分别计算分类损失和度量损失，第四部分是网络训练与测试，得到视频行人重识别的最优模型；

第一部分包括两个步骤：

步骤1，下载视频行人重识别公开数据集，选取自然场景复杂、角度多样和光照变化剧烈的图像作为测试集，将测试集图片尺寸统一到256×128大小，对测试集不进行任何的图像增强；

步骤2，对训练数据集分别进行空间和时间上的预处理，具体实施如下：

步骤2-1，对图片大小进行调整，先放大1.125倍，再裁剪为256×128像素；