[发明专利]一种基于自底向上的多人姿态估计方法及系统

说明书

本发明提供一种基于自底向上的多人姿态估计方法及系统，所述方法包括：步骤1、生成关节所属个体的热图标签；步骤2、修改深度卷积神经网络的预测输出规模；步骤3、采用训练后的深度卷积神经网络对待测图像计算，得到所有人体的中心位置、关节位置以及关节对应所属的人体中心编码，并计算得到多人的完整姿态。本发明通过获取所有人体的中心位置、关节位置以及关节对应所属的人体中心编码，得到多人姿态估计，估计过程无需复杂的匹配计算，提高输出精度和效率。

技术领域

本发明涉及人体姿态估计领域，尤其涉及一种基于自底向上的多人姿态估计方法及系统。

背景技术

人体姿态估计是进一步理解人体行为的关键步骤，通过一张RBG图像进行有效预测人体关节点，进而实现更高级别的计算机视觉任务，对行为识别、异常检测及人体模型重构等具有重要的意义。尽管对于人体姿态估计的研究众多，但现有的多人姿态估计技术还远不够成熟，尤其是在运行速度上，尽管当前为了提升运行速度，产生了许多轻量级的网络，但精度却不佳。而自顶向下的方法虽然精度较高，但检测速度很容易受到图片中人数的影响；自底向上的方法虽然可以一次预测出所有的关节点位置，解决了人数影响的问题，但将多个候选关节对应到每一个人的推理部分占据了较多时间，还可能因解析错误导致错误匹配。综上所述，人体姿态估计的精度仍有提升的空间。

在网络结构设计方面，X.Zhou等人在论文“Objects as Points”中提出了一种将人看作一个目标的方式，即找到每一个人体目标的中心点，再通过回归的方式直接计算出所有关节的位置。该方法虽然直接去除了后处理部分，加快了关节预测的计算速度，但精度损失较大，且对于回归距离较长的关节效果并不理想，同时很容易受到复杂人体和关节遮挡的影响，预测结果出现较大偏差。

在关节预测方法上，T.Zhi等人在论文“DirectPose:Direct End-to-End Multi-Person Pose Estimation”中提出一种端到端的关键点检测框架，该方法避免了自顶向下和自底向上两类关键点检测算法的固有问题，把关键点看作一个特殊的有K个角点的边界盒，将每个像素回归的数量从4增加到2K，K为人体实例的关键点数量。该方法预测关键点的方式虽然简单，但由于人体关键点数量多且要求更精准，一个特征向量无法满足回归一个人体实例的所有关键点。因此不能得到很精确的关节位置。

现有的申请号为201810915453.5的中国发明专利中公开了一种基于端到端的人体关节点检测与分类方法，该方法将预处理得到的图片输入到已经训练好的堆栈式沙漏型神经网络中,通过前向传播得到相应关节点的热力图分布,再利用条件随机场模型强化各个节点之间的空间位置关系,最终所有关节得到每个节点出现的概率统计分布,将输出的预测结果利用预先设定的规则将关节点连接起来，实现端到端的人体姿态估计。该方法采用双模型的结构来进行人体关节的预测和匹配，摆脱手工匹配处理的方式，但从速度上来看效率相对较低。

发明内容

本发明要解决的技术问题，在于提供一种基于自底向上的多人姿态估计方法及系统，实现关节所属个体的直接预测，有效解决了因关节亲属热图解析不准、匹配出错导致的预测精度下降的问题，并可有效缩短姿态预测时间。

第一方面，本发明提供了一种基于自底向上的多人姿态估计方法，包括：

步骤1、生成关节所属个体的热图标签；

步骤2、修改深度卷积神经网络的预测输出规模；

步骤3、采用训练后的深度卷积神经网络对待测图像计算，得到所有人体的中心位置、关节位置以及关节对应所属的人体中心编码，并计算得到多人的完整姿态。

进一步的，所述步骤1进一步具体为：