[发明专利]基于深度学习和多层次图结构模型的人体姿态估计方法

说明书

本发明公开了一种基于深度学习和多层次图结构模型的人体姿态估计方法，主要解决人体姿态估计精度较低的问题。其包含：1)重新定义人体部件，将人体部件分为组合部件和关节点两种类型；2)利用卷积神经网络对人体部件进行分类和定位，并输出人体各部件的候选坐标；3)设计多层次图结构模型；4)对每一个人体部件，利用设计的多层次图结构模型，计算卷积神经网络输出的候选坐标属于人体部件最终坐标的所有概率，从中选取该部件的最高概率，将最高概率对应的候选坐标取做该部件的最终坐标，并输出，得到人体的姿态估计结果。实验结果表明，本发明能获得高精度的人体姿态估计结果，可用于行为识别、人机交互、运动分析领域中对人体姿态的估计。

技术领域

本发明属于图像识别领域，特别是一种人体姿态估计方法，可用于虚拟现实、体育训练、辅助医疗、数字娱乐和运动场景下对人体姿态的估计。

背景技术

随着信息化时代的迅速发展，人类每时每刻都在通过多种多样的手段和途径获得海量的可视化图像数据，这使得基于自然场景图像的人体姿态估计研究在现实生活中拥有很多潜在的应用价值。但是，许多年来学者们在人体姿态估计领域的研究成果却远远跟不上市场的需求，主要原因是实现人体姿态估计的过程中常常会面临一些难以解决的干扰因素。人体本身形态的多样性，是影响人体姿态估计结果的重要因素。体型的胖瘦、衣服的宽松以及不同的拍摄视角，都可能带来人体外观的局部形变，使得提前训练好的模型丧失表征人体结构的能力，造成了人体姿态估计精度下降的现象。另外，遮挡问题也极大地增加了人体姿态估计的难度。当遮挡情况发生时，图像中表示某一个人体部件的像素点将很难和对应的人体部件模板相匹配，最终导致人体姿态估计精度的下滑。此外，在自然图像中，当背景图像过于复杂、光照条件明暗不一、或拍摄的人物尺度过小等不利因素发生时，都难以获得鲁棒、高精度的人体姿态结果。总之，一方面人体姿态估计领域具备许多潜在的应用价值，另一方面现有的人体姿态估计技术还远远不够成熟，完全实现鲁棒、高精度的人体姿态的估计仍面临着极大的挑战。因此，针对自然场景图像中的人体姿态估计过程展开深入的研究，符合社会市场的实际需求，具有重要的意义。

现有的人体姿态估计方法，可归于以下其中之一或两者都具备的范畴：一是从目标检测的角度来解决自然场景图像中的人体姿态估计问题；二是利用传统的图结构模型来描述自然场景图像中的人体姿态估计过程。

从目标检测的角度，可以将人体各部件以及关节点看作是独立的物体，仅仅检测出它们的位置即可获得人体姿态估计的结果。基于深度学习网络优良的特征提取特性，研究者们常常采用深度学习网络作为人体姿态估计过程中的目标检测器。2014年Toshev和Szegedy等人提出了一个具有循环结构的卷积神经网络，首先将自然图像作为该卷积神经网络的输入可以得到粗略的人体姿态，随后将初步得到的人体姿态重新输入到同一个卷积神经网络中，依此循环直到满足网络的输出条件。该方法将人体姿态问题转化为目标检测问题，从人体的全局出发，通过训练学习得到一个估计人体姿态的回归器。该方法的提出，将人体姿态估计的研究进程向前推进了一大步，开辟了新的研究思路。但是同时也可以发现，该方法不仅模型可扩展性差不利于后期的改进工作，而且直接在输入图像中检测人体关节点的做法难以得到高精度的人体关节定位结果。2017年He等人开发了一种用于目标检测分割掩膜区域卷积神经网络Mask R-CNN，该框架同时也很好地解决了多人图像中的人体姿态估计问题。Mask R-CNN是在原有的更快速区域卷积神经网络Faster R-CNN的网络结构上进行改造的，唯一的区别是在每一个感兴趣区域中增加一个用于预测分割的子结构。该方法将人体姿态估计问题转化为关节点检测问题，使用目标检测分割网络Mask R-CNN很好地解决了人体姿态估计的问题。

采用深度卷积神经网络来检测人体单个部件以及关节点的位置，能够在实验的精度上保证人体姿态估计的效果。但从理论分析上可以看出，仅仅把静态图像中的人体姿态估计归结于目标检测的问题，这种做法忽略了各关节点的空间约束关系，必然会导致人体姿态估计精度的下降。特别地，当物体自遮挡或者物体间相互遮挡的情况发生时，深度学习网络基本无法检测到人体部件或者关节点从而不能很好地完成静态图像中的人体姿态估计。