[发明专利]一种遮挡行人特征提取与行人重识别方法

说明书

本发明公开了一种遮挡行人特征提取与重识别方法，其中在利用全局特征提取网络对行人全局特征提取时，创新性嵌入了有效感受野提取模型以及特征激发模型，从而极大地提升了行人特征的代表性与可区分度。通过PartialReID以及PartialiLids数据集测试，本发明证明了上述两模型在处理遮挡行人重识别问题上的有效性以及先进性，对ReID技术的推广与实际场景应用有着积极意义。

技术领域

本发明属于计算机视觉及深度学习技术领域，具体涉及遮挡行人的特征提取以及代表性特征激发等方法。

背景技术

行人重识别（ReID）技术为通过分析行人图片，找到同一目标人物，其对实现智慧安防，城市大脑等有重要意义。现有的行人重识别技术主要是针对无遮挡情况下的行人重识别，通过行人多层次特征提取以及特征对比来实现功能。但是现有的特征提取与对比算法对于遮挡状态下的行人重识别效果不佳，这也极大的制约了该项技术的实际场景应用。

对于遮挡行人的重识别问题，其核心难点在于由于遮挡现象，通过图像获得的行人特征经常是不完整的，甚至是充满背景噪声的，这样的行人特征在与无遮挡全身行人进行特征对比时，常常会导致不尽如人意的结果。

发明内容

本发明的目的是针对遮挡状态下行人特征不完整、背景噪声多而导致的重识别正确率不高的问题，提出一种遮挡行人特征提取与行人重识别方法。

本发明采用的具体技术方案如下：

一种遮挡行人特征提取与重识别方法，包括以下步骤：

利用全局特征提取网络提取N张输入行人图片的全局行人特征；

利用行人局部特征提取网络以关键点为基础提取N张输入行人图片的局部行人特征；

利用特征融合图匹配网络融合每张输入行人图片对应的全局行人特征和局部行人特征，获得N个行人综合特征信息，并通过图匹配的方式进行相互对比，获得每张输入行人图片的行人重识别结果；

其中，所述全局特征提取网络包含K层卷积层和有效感受野提取模型，所述有效感受野提取模型用于对第一卷积层提取的浅层特征张量逐通道分析，依次找到每个通道中特征值最大的像素点作为该通道对应的最佳信息像素点，再根据最佳信息像素点的高度值统计浅层特征张量中相互重叠的不同区域各自包含的最佳信息像素点数量，并选取最佳信息像素点数量最多的区域作为浅层特征张量的最佳感受野并作为第二卷积层的输入；所述相互重叠的不同区域由原始输入行人图片水平切割映射获得；

所述全局特征提取网络、行人局部特征提取网络和特征融合图匹配网络通过利用行人数据集以最小化预测值与真值的损失为目标训练获得。

进一步地，所述全局特征提取网络还包括特征激发模型，所述特征激发模型包含K-1个子激发模块，分别用于激发第2~K层卷积层提取的深层特征张量；所述子激发模块包含特征蒸馏模块与特征激活模块，其中，特征蒸馏模块由多个卷积聚集层组成，用于对深层特征张量进行连续的压缩与蒸馏；所述特征激活模块用于将特征蒸馏模块输出的特征与原始输入的深层特征张量融合并激活。

进一步地，所述全局特征提取网络在推理阶段不使用有效感受野提取模型。

进一步地，所述相互重叠的不同区域为：0～(1-α)H，0.5αH～（1-0.5α）H和αH～H的三个区域，H为输入行人图片的高，α为取值0~1的可变参数，优选为0-0.2。

进一步地，所述行人局部特征提取网络包括用于估计输入行人图片中行人姿态的姿态估计模块和用于根据获得的姿态提取局部特征的局部特征提取模块，所述特征融合图匹配网络包括：用于融合每张输入行人图片对应的全局行人特征和局部行人特征，获得N个行人综合特征信息的融合特征模块和对N个行人综合特征信息进行两两图匹配的图匹配模块。