[发明专利]基于姿态估计与视点机制融合的行人再识别方法

说明书

本发明设计一种基于姿态估计与视点机制融合的行人再识别方法。用于解决各种需要进行刑侦，失踪人员寻找问题，为了达到该目的，该方法通过考虑行人的姿势结构信息，采用姿势估计网络Openpose提取行人关键点，同时考虑相机拍摄的视点位置，根据图像的拍摄的角度，生成行人身体关键区域，帮助对齐图像中的身体区域特征并可以避免相机拍摄到行人侧面时行人关键区域被遮挡等问题。最终，通过特征融合子网络将局部特征图与全局特征图进行融合来合并不同语义级别的区域特征。通过对行人数据集的训练，得到对应的模型，通过加载模型并采用本文的神经网络结构预测出所有与目标行人匹配的行人。

技术领域

本发明涉及计算机视觉与图像检索领域，具体设计了一种基于姿态估计与视点机制融合的行人再识别方法。

背景技术

行人再识别(Person re-identification，Re-ID)起源于多摄像头跟踪，用于判断非重叠视域中拍摄到的不同图像中的行人是否属于同一个人。行人再识别涉及计算机视觉、机器学习、模式识别等多个学科领域，可以广泛应用于智能视频监控、安保、刑侦等领域。近年来，行人再识别技术引起了学术界和工业界的广泛关注，已经成为计算机视觉领域的一个研究热点，由于行人兼具刚性和柔性物体的特性，外观易受穿着、姿态和视角变化以及光照、遮挡、环境等各种复杂因素的影响，这使得行人再识别面临着巨大的技术挑战。

行人再识别由行人检测和行人识别发展而来，可以看作两者功能的“结合”。传统的行人检测的目的是判断输入的图片或者视频中是否有行人，主要用于智能驾驶，辅助驾驶和智能监控等相关领域；行人识别是从输入的图片或者视频中识别指定的人，主要用于图像检索等问题；而行人再识别是从没有任何重区域的不同摄像头的视频中识别出同个人，主要用于刑侦、寻找失踪人员等工作。在一定时间内，一个行走的行人可能会经过相邻的若干个摄像头，如何识别出在不同摄像头下出现的同一个人，是行人再识别所研究的重点。

发明内容

本发明设计一种基于姿态估计与视点机制融合的行人再识别方法。用于解决各种需要进行刑侦，失踪人员寻找问题，为了达到该目的，该方法通过考虑行人的姿势结构信息，采用姿势估计网络Openpose提取行人关键点，同时考虑相机拍摄的视点位置，根据图像的拍摄的角度，生成行人身体关键区域，帮助对齐图像中的身体区域特征并可以避免相机拍摄到行人侧面时行人关键区域被遮挡等问题。最终，通过特征融合子网络将局部特征图与全局特征图进行融合来合并不同语义级别的区域特征。通过对行人数据集的训练，得到对应的模型，通过加载模型并采用本文的神经网络结构预测出所有与目标行人匹配的行人。

本发明所述的方法首先对图像中的行人进行姿态估计与视图判别，根据姿态估计得到的人体关节点与图像视图方向将身体区域划分为6个或3个子区域，从局部区域中提取行人局部特征，同时从完整图像中提取全局特征，最终通过特征融合将全局与局部特征融合得到最终的特征表示，采用欧几里得距离进行再识别判别。在训练过程中，使用二元交叉熵损失来进行类别预测。

区别于现有的处理方法，本发明的有益效果是：1)在CNN框架中考虑人体结构信息，缓解行人由姿势变化造成的对齐困难。2)考虑相机视点信息，帮助本文模型规避由身体部位被遮挡而导致的姿势估计不准确。3)分别从全局图像与局部图像中学习特征表示，并提出特征融合网络将全局与局部的特征融合以获取更具鲁棒性的特征表示。使行人再识别的效率与精度又大大地提升。同时能够较好地克服行人姿态变化、视角变化的检测难度大的缺点。

附图说明

图1是本发明所述的一种基于姿态估计与视点机制融合的行人再识别方法。

具体实施方式

请参阅图1所示：

1、一种基于姿态估计与视点机制融合的行人再识别方法，其特征在于，所述方法包括以下步骤：

步骤一：行人再识别数据集采集，获取行人再识别公开数据集，区分训练集与测试集，进入步骤二；