[发明专利]基于多层次特征与注意力机制的行人再识别方法

说明书

本发明提供一种基于多层次特征与注意力机制的行人再识别方法及模型，涉及计算机视觉行人再识别技术领域，其中行人再识别方法包含以下步骤：S1：准备图像样本集；S2：进行数据预处理：所述数据预处理包括随机擦除和随机加噪的数据增强方法；S3：采用Resnet50框架，并添加注意力机制；S4：分别进行多层次特征提取；S5：训练模型；S6：测试训练后的模型。通过采用随机擦除和随机加噪的数据增强方法，有效地解决了由于物体遮挡或周围环境较复杂等因素造成的识别率较低的问题，使得训练后的模型具有更高的鲁棒性。

技术领域

本发明涉及计算机视觉行人再识别技术领域，尤其涉及一种基于多层次特征与注意力机制的行人再识别方法。

背景技术

随着深度学习的发展，深度模型在行人再识别领域也已经得到了广泛的应用。行人再识别的任务是在非重叠的摄像机中识别匹配出感兴趣的行人。行人再识别在智能安防中的应用至关重要，然而由于姿态、遮挡、背景、光照、相机分辨率等外在因素的影响，行人再识别至今仍然是一个非常具有挑战性的问题。

先前大多数研究集中在利用卷积神经网络提取行人的全局特征，然而这些基于全局特征的方法很难解决由于遮挡、光照不均匀等造成的错误匹配问题。很多研究人员也注意到了该问题，引入了局部特征。例如一些研究引入了人体姿态信息和行人属性特征来增强特征表示能力，如图1所示，通过捕捉人体姿态的变化以及外部附属品等信息来学习局部特征。也有一些研究者提出切分行人图像，在不同图像之间的各个部位匹配中学习局部特征。然而，这些学习局部特征的方法，忽略了由于图像背景复杂度高以及拍摄距离远近不同，而导致局部特征提取存在偏差的问题，因此融合后的特征并不能很好地表示行人特征。

研究发现，注意力机制可以极大地提高行人再识别结果。注意力机制模块最早是在2018年被提出，通过提出卷积注意模块，验证了注意力机制可以有效提高特征表示能力。注意力机制是指捕捉图像的特定区域，通过关注图像特定的区域来提高识别精度。然而，这些注意力机制都是放在局部特征提取中，更注重特定的小区域，往往会忽略大的全局信息，因此在利用注意力机制时，往往也会遇到由于弱化了全局特征导致的识别精度不高的问题。

发明内容

本发明的目的是为了解决现有技术中在行人再识别提取特征的过程中，仅采用全局特征时，提取到的特征容易受到姿态、背景和光照等外部因素的影响，从而导致识别率急剧下降。然而，仅采用局部特征时，容易使得提取到的特征存在偏差，导致识别率较低的技术问题。

为了实现上述目的，本发明采用了如下技术方案：

一种基于多层次特征与注意力机制的行人再识别方法，其包含数据预处理、注意力机制方法及多特征提取，其中所述数据预处理包括随机擦除和随机加噪的数据增强方法；所述注意力机制方法包括通道注意力机制和空间注意力机制两种注意力机制方法，所述多特征提取包括全局特征提取和局部特征提取两个分支特征提取方法。

优选的，在进行随机擦除和随机加噪处理时，对输入的数据集中50％的数据进行处理。

优选的，在数据预处理前准备图像样本集，所述图像样本集为采集的行人图像样本集及Market1501、CUHK03和DukeMTMC-ReID。

优选的，数据预处理完成后，将Resnet50网络作为骨干网络，并且在网络的第四层后添加空间注意力机制和通道注意力机制；所述空间注意力机制的作用是为了寻找网络中最重要的部位进行处理，所述通道注意力机制的作用是通过利用不同通道的重要程度从而有针对性地增强或抑制不同的通道。

优选的，对于全局分支，使用全局平局池化将特征映射转化为全局特征向量，用全局距离计算得到两幅图像的相似度。

优选的，对于局部分支，先采用水平池化将S3中得到的特征映射进行水平池化，得到池化后的特征映射，从而得到局部特征，对得到的局部特征进行局部距离测量，计算局部距离时采用最短距离的方法，得到两张图像的相似度。