[发明专利]一种人体图像关键点姿态估计方法

说明书

本发明公开一种人体图像关键点姿态估计方法。包括步骤：对输入的训练图像预处理，用基于特征金字塔网络的行人检测网络对输入图像进行检测；将检测到的人体形成的边界框进行裁剪，只保留框内图像；将裁剪后图像输入到设计的模型中，进行人体姿态关键点估计。本发明可以将含有人体的输入图像进行关键点生成，并且生成估计处理后的图像中生成的人体关键点具有较高精度，较好保持了人体的骨架几何信息。

技术领域

本发明涉及图像处理技术领域，特别是涉及一种人体图像关键点姿态估计方法。

背景技术

人体图像关键点姿态估计，是指从一张含有人体的图像中对人体骨架上的关键点进行建模估计，人体关键点一般定义为：踝关节，左膝关节，左臀部，右臀部，左膝关节，左踝关节，右踝关节，上颈部，头顶，右手腕，左肘，左肩，右肩，右肘，左手腕，最后通过训练好的姿态估计模型，对输入图像进行姿态估计，输出为含有人体骨架关键点的图像。

由于人体具有相当柔性，会出现各种姿态和形状，人体任何一个部位的微小变化都会产生一种新的姿态，同时其关键点的可见性受穿着、姿态、视角等影响非常大，而且还面临着遮挡、光照、雾等环境的影响，除此之外，2D人体关键点和3D人体关键点在视觉上会有明显的差异，身体不同部位都会有视觉上缩短的效果(foreshortening)，使得人体骨骼关键点检测成为计算机视觉领域中一个极具挑战性的问题。

现有解决人体图像关键点姿态估计的人体骨骼关键点检测算法基本上是在几何先验的基础上基于模版匹配的思路来进行，核心就在于如何去用模版表示整个人体结构，包括关键点的表示，肢体结构的表示以及不同肢体结构之间的关系的表示。一个好的模版匹配的思路，可模拟更多的姿态范围，以至于能够更好的匹配并检测出对应的人体姿态。

也有人提出了基于深度学习的方法，比如G-RMI,CFN,RMPE,Mask R-CNN。普遍使用卷积神经网络来构建人体关键点姿态估计网络结构，将含有人体图像输入到该网络结构中，进行一系列非线性处理(用来拟合一个复杂的映射函数)得到生成的人体骨架关键点姿态图像，将生成的人体骨架关键点姿态图像与真实的标注的人体固件关键点图像作为损失函数的输入并计算该损失函数的值，求梯度来最小化这个值，并利用反向传播函数将求得的梯度反向传播并更新网络权重的参数，多次迭代直到该损失函数不变为止。

由于技术的进一步的发明以及高质量高精确度的人体骨架关键点图像对用户的体验和市场的竞争都具有重要的意义。而现有的人体图像关键点姿态估计生成质量不能满足要求，且不确定性比较大。因此，对人体图像关键点姿态估计方法进行一步改进，是很有必要的。

发明内容

本发明的目的是针对现有技术中存在的技术缺陷，而提供一种融合空洞卷积(Dilated conv)的级联金字塔的深度神经网络的人体图像关键点姿态估计方法，以提高人体图像关键点姿态估计生成质量，降低不确定性。

为实现本发明的目的所采用的技术方案是：

一种人体图像关键点姿态估计方法，包括以下步骤：

步骤S1.将图像数据库中的图像数据预处理：

首先，将原始图像送入已经训练好的特征金字塔网络FPN检测，只输出人体用边界框标记的人体图像；然后将输出的人体图像裁剪，形成预定格式大小；

步骤S2.通过训练得到能够对人体图像进行姿态估计得到人体固件关键点图像的深度网络模型：

利用步骤S1中已经裁剪完成的人体图像作为网络的输入，以训练集中的json文件作为人体关键点标注信息像作为GroundTruth，训练深度神经网络模型中的全局网络和矫正网络，获得训练好的完成从人体图像到人体关键点图像的姿态估计的深度神经网络模型；