[发明专利]一种基于多尺度卷积特征融合的行人重识别方法

说明书

本发明公开了一种多尺度卷积特征融合的行人重识别方法，首先对行人图片预处理；将Resnet‑50卷积神经网络作为骨干网络构建多层卷积神经网络，将处理后的图像作为样本数据输入到多层卷积神经网络中，得到卷积后的特征图；构建多尺度卷积神经单元；利用多尺度卷积神经单元计算原始特征距离，给定查询图像，通过将其k‑倒数最近邻编码为单个向量来计算k‑倒数特征，该单个矢量用于在雅克比距离下重新排序，最终距离计算为原始距离与雅克比距离的组合；本发明方法大幅度提高行人重识别的精度，并能广泛应用于行人重识别领域；本发明基于多尺度卷积特征融合的行人重识别算法也适合于图像检索领域，能大幅提高图像检索的精度。

技术领域

本发明属于图像分析及图像识别技术领域，具体涉及一种基于多尺度卷积特征融合的行人重识别方法。

背景技术

行人重识别的目的是识别在不同位置以及不同摄像机视图中拍摄到的相同的行人并广泛应用于行人检索和摄像机跟踪任务的视频分析中。当在众多的视频序列中搜索特定的行人时，利用行人重识别系统可以节省时间和成本，因此利用身体外观的行人重识别已经受到越来越多的关注，但是由于行人容易受到姿态、照明、背景以及遮挡等方面的影响，使得行人重识别方法在本质上具有挑战性。

目前，具有深层的卷积神经网络的行人重识别取得了进展并且取得了高的识别率，许多先进的方法都设计了复杂的网络结构并连接了多分支网络，这些工作都集中在学习对行人姿势、照明和视角变化具有鲁棒性的判别性特征表示，以使用卷积神经网络提高行人的识别率。因为行人重识别的识别率的高低很大程度上取决于行人特征的鲁棒性，获取的行人图像的特征表示越全面，得到的行人重识别的精确度越高。为了更好的提高模型的鲁棒性，一些有效的训练技巧也被应用到行人重识别领域。因为随着视角的变化，行人的面部、手和脚等身体部位极不稳定，而卷积神经网络主要集中在行人的主干部分，因此抑制了对行人其他身体部位的描述；Fan等人(Xing Fan,Hao Luo,Xuan Zhang,et al.SCPNet:Spatial-Channel Parallelism Network for Joint Holistic and Partial Person Re-Identification[C]//Asian Conference on Computer Vision.Springer,Cham,2018)提出了一个空间通道并行网络(Spatial-Channel Parallelism Network,SCPNet)，提供了行人身体某一块空间区域的特征，并利用空间-通道相关性来监督网络学习一个鲁棒的特征，该方法在训练阶段有效地使用局部特征来利用全局特征。Dai等人(Z.Dai,M.Chen,X.Gu,S.Zhu and P.Tan,Batch DropBlock Network for Person Re-Identification andBeyond,2019IEEE/CVF International Conference on Computer Vision(ICCV),Seoul,Korea(South),2019,pp.3690-3700.)提出了批处理丢弃块(Batch DropBlock,BDB)网络，该模型以ResNet-50作为骨干网络，将骨干网络作为全局分支和特征删除分支组成两个分支网络，其中全局分支主要针对行人图像的全局特征提取，特征擦除分支主要通过批量随机擦除所有输入特征图的相同区域，以加强对行人图像局部区域特征的学习功能，最后，网络将两个分支得到的特征进行串联，得到了更全面和具有判别力的特征表示。

深度卷积神经网络已经证明了行人重识别的突破精度，从CNN学到的一系列特征提取器已经用于其他计算机视觉任务。来自CNN不同层次的特征旨在编码不同层次的信息，一系列从低层到高层的特征提取器可以从大规模的训练数据中以端到端的方式自动学习。不同层次的特征有着各自不同的特点，低层特征分辨率更高，包含更多位置和细节信息，用于度量细粒度的相似度，但是由于其经过的卷积层数较低，包含噪声较多，语义性不强，容易受到背景混乱和语义杂波的影响。高层特征具有更强的语义信息，用于度量语义的相似度，但其分辨率较低，对细节的感知能力较差，不足以描述图像细粒度的细节，因此如何将两者有效结合是提高识别准确率的关键。