[发明专利]一种利用姿态信息设计多损失函数的行人重识别方法

说明书

本发明公开了一种利用姿态信息设计多损失函数的行人重识别方法，该方法可有效解决监控视频内行人遮挡频繁、视频光照差异大以及非刚性行人姿态多变所带来的困难，在安防监控等领域具有广泛应用。该方法主要分为两个阶段，分别是离线阶段和在线阶段。其中离线阶段负责训练学习高准确度的深度学习网络模型，该阶段包含预处理、关节点信息提取、提取局部特征并与主干网络框架提取的全局特征进行特征融合，最后将融合的特征利用五元组损失函数完成训练。在线阶段则使用训练好的深度学习网络模型进行特征提取，从而通过相似度计算实现待分析目标与已存储目标图片库之间的行人重识别。

技术领域

本发明属于计算机视觉技术领域，更具体的讲，涉及一种利用姿态信息设计多损失函数的行人重识别方法，是一种可以抵抗行人遮挡、姿态多变且能够应用于智能监控分析系统的精准行人重识别方法。

背景技术

行人重识别技术是指在多个相机内检索给定目标，并将检索结果进行关联匹配。该技术为视频监控领域，如行人检索，跨相机跟踪，人机交互等应用提供基础支持。对于海量的视频数据的人物搜查任务，行人重识别可以极大地解放人力。然而由于相机拍摄视角不同、光照条件复杂、遮挡频繁、非刚性行人姿态多变等原因使得行人重识别问题十分具有挑战性。为克服这些困难，研究者们在过去的20年里提出了许多不同的解决方案。根据算法原理大致可以分为设计表达特征和优化距离度量两类算法。

设计表达特征是指寻找对图像外观变化鲁棒的特征。基于特征表达的方法关注如何设计具有对行人具有辨识度和对图像变化具有稳定性的特征描述。包括颜色直方图、纹理特征、局部特征点等低层视觉特征以及具有语义属性的中层特征。

为了能够有效利用空间信息，现有的方法通常将图像划分为不同的区域，如2006年到2013年郑伟诗等人都曾将行人图像从上到下分为多个水平长条。2010年Farenzena等利用图像对称和非对称先验理论，将行人图像划分为身体头部、躯干和腿部三部分，以提取不同区域之间的特征组合。得益于大数据量行人重识别数据集Marker1501、MARS的出现，研究者们开始使用基于深度学习的方法表示图像特征。2016年Cheng等人提出了一种基于局部块的多通道的深度神经网络框架，他们利用水平划分的局部条带与原图同时提取全局与局部特征。然而由于不同相机视角以及行人姿态的变化，水平分割会产生误对齐，反而会影响模型的准确率。基于以上考虑，本发明采用行人关节点检测得到较为准确的局部位置，达到基于语义的对齐，为全局和局部特征互补融合提供了关键条件。

优化距离度量是指学习一种距离空间使得属于同一人的图像之间特征距离相近，属于不同人的图像之间特征距离远。2009年Weinberger等人提出大间隔最近邻分类(largemargin nearest neighbour，LMNN)，采用了三元组约束使新的度量空间中，每个样本的k个最近的邻居都属于同一类。2012年，Kostinger等人提出保持简单直接的(Keep is Simpleand Straight,KISS)的距离度量学习算法。此后逐渐有学者将距离度量与深度学习结合起来，建立验证模型进行行人重识别。该类模型以图像对为网络输入，在提取图像特征后同时计算特征之间的距离，最终输出图像之间的相似度。将提取特征及相似性度量集成于一个框架内是该类模型的主要优势。然而仅使用验证模型，只能提取到图片对之间的差异性特征。每张图片自身具有的显著性特征经常被忽略。因此本发明考虑联合分类模型和验证模型进行训练，同时计算分类损失和验证损失，并对两者做加权以达到模型互补。

随着深度学习在计算机视觉领域多个子问题上的普遍应用，Wei等人提出的在复杂场景中准确提取关节点信息的方法为行人重识别精确局部信息获取提供了可能。考虑到监控视频内的行人数据姿态变化呈现一定的规律，极少出现异常姿态，基于深度学习办法自动提取关节点信息的算法可以应用到行人重识别问题内。因此，本发明利用该方法得到的关节信息计算人体的局部位置并且推测行人姿态朝向，其中局部位置信息可用于提取局部特征与全局特征融合，行人姿态朝向可用于设计五元组损失函数，这些信息均可以在复杂的监控环境下提高行人重识别的准确度。

发明内容