[发明专利]一种基于深度学习的行人重识别方法

说明书

本发明公开了一种基于深度学习的行人重识别方法，应用于至少包括2D特征编码网络，3D人体表征编码网络以及图卷积特征融合网络的行人重识别系统，行人重识别方法包括如下步骤：通过2D特征编码网络提取2D图像特征图，3D人体表征编码网络提取3D姿态信息和人体外形信息；根据3D姿态信息获取2D关节点位置，将2D关节点位置映射到2D图像特征图获取2D关节点局部特征；根据3D姿态信息获取区域掩码；将获取的2D关节点局部特征与3D姿态信息和人体外形信息融合，得到3D关节点局部特征，进而进行关节点间的特征融合，得到骨骼局部特征；将待识别图像和图像库中第一图像相似度匹配，输出匹配结果；利用人体骨骼的3D信息以及拓扑约束使行人重识别的匹配更加准确。

技术领域

本发明属于计算机视觉行人重识别技术领域，具体涉及一种基于深度学习的行人重识别方法

背景技术

如今，在几乎所有的公共场所，都可以看到通过监控摄像头来监控人类活动。这些摄像机拍摄的连续视频流通过人工观察可用以发现或查证事件的发生。然而，这个人工观察过程费时、费力且容易出错的。研究人员已经提出了各种基于计算机视觉的自动化技术来分析人类活动视频数据和提取相关信息，以执行人类跟踪、再识别和其他视觉相关任务。

行人重识别，其任务就是给定一个感兴趣的待查询人的信息,然后确定这个人是否被另一个不同地方、不同时间、不同相机所捕捉到。待查询人可以由图像、视频序列，甚至文本等信息描述表示。随着大量安装在大学校园，主题公园，街道的监控摄像头的出现，由于公共安全的需要,行人重识别在智能视频监控系统的设计有着重大影响和实际重要性。

当在拥挤的地方进行行人重新识别时，遮挡是一个不可避免的问题。例如，一个人可能会被现场的其他人遮挡，或被静态障碍物遮挡，如汽车、柱子、墙壁，或被自身肢体遮挡。除了遮挡，视角变化也是一个巨大的挑战。

发明内容

本发明提出一种基于深度学习的行人重识别方法，主要解决现有方案在复杂遮挡环境(如自遮挡，自然环境下的物体遮挡)和人体各部分视角差异大的情形下表现不佳的问题，人体骨骼随着关节活动，使得各个部分出现不同的视角变化，细粒度的视角检测可以使得行人重识别的匹配更加准确。利用人体骨骼的3D信息以及拓扑约束，可以获得行人更加鲁棒的表征信息。

本发明为了实现上述目的，提供了一种基于深度学习的行人重识别方法，包括如下步骤：S1，将待识别图像输入2D特征编码网络提取2D图像特征图，且将待识别图像输入3D人体表征编码网络提取3D姿态信息和人体外形信息；S2，根据3D姿态信息获取2D关节点位置，将2D关节点位置映射到2D图像特征图，获取2D关节点局部特征；S3，根据3D姿态信息获取全局视角感知区域掩码、局部视角感知区域掩码、自遮挡感知区域掩码和外部遮挡感知区域掩码；S4，将获取的2D关节点局部特征与3D姿态信息和人体外形信息融合，得到3D关节点局部特征；S5，将3D关节点局部特征进行关节点间的特征融合，得到骨骼局部特征；S6，基于全局视角感知区域掩码、外部遮挡感知区域掩码、局部视角感知区域掩码以及自遮挡感知区域掩码，对待识别图像和图像库中的第一图像进行相似度匹配，输出最终匹配结果。

优选的，步骤S3中，根据3D姿态信息获取全局视角感知区域掩码具体包括：S311，将人体的T-poSe状态作为参考坐标系，以根节点为原点，定义用于确定全局视角的单位球坐标系SC_root，得到待识别图片描述全局视角的角度为(θ_root，φ_root，1)；S312，将SC_root单位球平面离散化,即θ_root的定义域和φ_root的定义域分别等分为N1和N2份，等分后的每个区段都以其中点的值作为离散化后的值,映射为N维向量，N等于N1与N2的乘积，每个维度对应着一组(θ_root，φ_root)参数，该向量即为全局视角感知区域掩码。

优选的，步骤S3中，根据3D姿态信息获取自遮挡感知区域掩码具体包括：