[发明专利]一种利用姿态信息设计多损失函数的行人重识别方法

摘要

本发明公开了一种利用姿态信息设计多损失函数的行人重识别方法，该方法可有效解决监控视频内行人遮挡频繁、视频光照差异大以及非刚性行人姿态多变所带来的困难，在安防监控等领域具有广泛应用。该方法主要分为两个阶段，分别是离线阶段和在线阶段。其中离线阶段负责训练学习高准确度的深度学习网络模型，该阶段包含预处理、关节点信息提取、提取局部特征并与主干网络框架提取的全局特征进行特征融合，最后将融合的特征利用五元组损失函数完成训练。在线阶段则使用训练好的深度学习网络模型进行特征提取，从而通过相似度计算实现待分析目标与已存储目标图片库之间的行人重识别。

主权项

一种利用姿态信息设计多损失函数的行人重识别方法，其特征在于：包括离线提取特征网络模型训练、在线行人重识别两部分主要内容；步骤(1)、离线提取特征网络模型训练阶段：(m1)对所有图片进行预处理，原始图片rIi处理后用Ii表示；(m2)针对每一张图片检测关节点信息，得到的18个关节点信息存在PIi＝{x1，y1，……，x18，y18}中，并有对应的布尔型数组label表示是否检测到了不同的关节点，labeli＝(True or False)；(m3)根据步骤(m2)中提取的关节点信息，推测每一个行人的身高highi、分别计算头部‑躯干‑腿部的局部区域信息(m4)根据步骤(m2)提取的关节点信息，推测行人目标的姿态朝向，记为diri＝(1 or 2 or 3)，其中等于1的时候表示正向样本，2表示侧向样本，3表示背向样本；(m5)根据设计的主干网络提取全局特征，根据步骤(m3)提取的局部区域位置信息及分支网络结构提取局部特征，并将每张图片的全局特征与局部特征融合，共同形成表述性特征向量；(m6)根据数据真实标签计算多分类损失函数以及本发明的第一重三元组，同时根据步骤(m4)推测的行人姿态朝向设计五元组并计算第二重五元组损失函数；(m7)联合步骤(m6)计算的多种损失函数误差训练当前特征提取网络，并分析不同损失函数权重对网络的影响，选择最佳的权重λ1和λ2来完成联合训练；步骤(2)、在线行人重识别阶段：(s1)预处理图片库内所有图片Igallery，并利用步骤(1)离线阶段训练得到的网络模型进行特征提取，根据图片对应的识别信息逐条存储形成特征库Fgallery；(s2)预处理待分析图片Iquery，利用步骤(1)离线阶段训练得到的网络模型进行特征提取，最终的特征向量fquery用作后续步骤(s3)相似性度量的唯一有效信息；(s3)计算步骤(s2)中提取的fquery与特征库Fgallery之间的特征距离，并进行归一化、排序操作，从中选出相似度大于0.7且排名在前M的图片作为行人重识别的检索结果，其中M的数值根据当前图片库内数量动态选定；(s4)定期更新图片库及其对应的特征库，重点支持静态库以及由动态视频库检测采集到的动态库两种模态。