[发明专利]一种基于多尺度特征融合的行人重识别特征提取方法

说明书

本发明涉及行人重识别领域的特征提取，具体涉及一种基于多尺度特征融合的行人重识别特征提取方法。本发明的方法包括：以ResNet为backbone改进构建一个多尺度特征融合网络，其改进为将layer3层提取的特征作为共享特征，其后接两个分支，分别为Global分支和Part分支，Part分支通过将ResNet最后一层的stride由2降为1，Global分支使用原ResNet的layer4层的操作，再抽取layer3.1和layer4.1的特征图，通过分别将Part分支和Global分支与layer3.1和layer4.1的特征图进行融合，分别标记为layer3.1_p和layer4.1_g,将以上4个特征向量(layer4.4(Part)、layer4.4(Global)、layer3.1_p、layer4.1_g)均降维成512维的特征进行特征融合，组成2048维的特征进行相似性度量。该方法能够通过利用底层特征图，包含更多行人图像的微小细节信息，使提取的特征更易于区分相似行人，增强了所提取特征的鲁棒性。

技术领域

本发明涉及计算机视觉技术和行人重识别领域。特别是涉及一种多尺度特征融合的行人特征提取方法。

背景技术

利用高科技手段加强社会管理预防犯罪行为发生已成为共识。为此，各地政府都在公共场所关键点、交通路口、生活小区、停车场等安装了大量摄像头，加强对行人行为的观察及身份识别。摄像头每天产生巨量数据，对这些数据进行分析具有重要意义。但复杂场景下获取人脸、步态等生物特征特别困难，为此出现了行人重识别技术。不同于传统意义上的人脸图像识别技术，行人重识别(ReID)建立来自不同摄像头的同一行人图像间的对应关系。当前，行人重识别主要依靠人体外表视觉信息，但视频图像受光照、流明变化、行人姿态及拍摄视角度等因素影响，即使是同一行人，不同摄像头拍摄的身体外表图像也存在很大差异；同一行人，在不同时间由同一摄像头拍摄的图像同样也存在很大差异，因此，行人重识别面临巨大挑战，已成为当前视频识别领域的热点研究问题，在社会管理、突发事件重构、智能无人超市、人机交互等方面具有广阔应用前景。

行人重识别对无重叠的多个摄像头拍摄的行人图像进行识别，是将一个摄像头拍摄的目标行人作为检索对象，从其他摄像头拍摄的图像中准确识别行人，由提取健壮表示特征及采用有效度量模型实现识别两个过程组成。目前研究主要围绕图像特征学习和相似性度量方面展开。特征提取是特征工程的重要问题。特征提取是从原始数据出发构造新特征的过程，一般数据转化到特征空间以后，舍弃了某些对识别无关或造成干扰的信息，保留相关的信息，如对于行人重识别，理想的描述子应该对光照、行人姿势变化、视角变化等不敏感，而保留颜色、纹理、空间结构等信息。早期特征的构造由专家借助相关领域知识，在对数据的分析、判断和思考下，抽取、组合各类特征得到。随着各行各业的数据爆发式增长累积，原有的人工特征方法难以满足日益增长的需求。此外手工设计的特征往往使用领域较窄，在其目标领域表现良好，迁移到其他领域往往效果会大打折扣。然而，深度学习的兴起和大规模应用，不仅减轻了特征方法的难度，还可以利用海量数据，通过自动筛选特征和特征组合，进而学习到更加鲁棒的特征。在模式识别领域中，对样本进行分类识别的时候，把计算样本间的距离称为样本间的相似性度量。相似性度量是机器学习中一个新兴领域，在计算机视觉中有广泛的应用。它能有效地改善行人跟踪、图像检索、人脸识别、聚类分析、以及行人重识别的效果。基于相似性度量学习方法的中心思想是利用行人图像的标签信息来计算相似性度量函数的参数，使得相同类别行人图像对的距离小于不同类别行人图像对的距离。尽管近年来在图像特征学习和相似度量方面科研工作取得了长足的进步，但是仍然有提升的空间。本发明就通过图像特征的研究，提升提取图像特征的鲁棒性，进而提升检索的精度。

行人重识别(ReID)是指判断来自不同摄像头所拍摄到的行人图像是否属于同一个行人的技术。基本工作流程主要分为五个阶段：数据收集和预处理，模型训练，特征提取，相似性度量，相似性重排序。行人重识别技术对智能安防和智能商业有着无可限量的应用价值。可以实现跨摄像头快速识别和追踪嫌疑人，有效协助警方部署安防或破案；可以帮助零售经营者、大型展馆管理者等实现精准统筹顾客轨迹、深入挖掘潜在的商机；还可以运用到手机相册聚类、人机交互等场景中。