[发明专利]一种人体图像关键点姿态估计方法

说明书

本发明公开一种人体图像关键点姿态估计方法，包括以下步骤：首先将图像送入基于空洞卷积的特征金字塔网络DetectionNet进行图像检测，只输出人体用边界框标记的人体图像；然后裁剪成预定格式大小，并进行数据增强处理，形成训练数据；然后利用训练数据，训练融合空洞卷积Dilated conv的神经网络的人体图像关键点姿态估计模型，得到能够对人体图像进行姿态估计以得到人体固件关键点图像的深度神经网络模型：并用该模型进行人体姿态的估计。本发明可以将含有人体的输入图像进行关键点生成，并且生成估计处理后的图像中生成的人体关键点具有较高精度较好保持了人体的骨架几何信息。

技术领域

本发明涉及图像处理技术领域，特别是涉及一种人体图像关键点姿态估计方法。

背景技术

人体图像关键点姿态估计是指从一张含有人体的图像中对人体骨架上的关键点进行建模估计，人体关键点一般定义为：踝关节，左膝关节，左臀部，右臀部，左膝关节，左踝关节，右踝关节，上颈部，头顶，右手腕，左肘，左肩，右肩，右肘，左手腕，最后通过训练好的姿态估计模型，对输入图像进行姿态估计，输出为含有人体骨架关键点的图像。

由于人体具有相当柔性，会出现各种姿态和形状，人体任何一个部位的微小变化都会产生一种新的姿态，同时其关键点的可见性受穿着、姿态、视角等影响非常大，而且还面临着遮挡、光照、雾等环境的影响，除此之外，2D人体关键点和3D人体关键点在视觉上会有明显的差异，身体不同部位都会有视觉上缩短的效果(foreshortening)，使得人体骨骼关键点检测成为计算机视觉领域中一个极具挑战性的问题。

现有解决人体图像关键点姿态估计的人体骨骼关键点检测算法基本上是在几何先验的基础上基于模版匹配的思路来进行，核心就在于如何去用模版表示整个人体结构，包括关键点的表示，肢体结构的表示以及不同肢体结构之间的关系的表示。一个好的模版匹配的思路，可模拟更多的姿态范围，以至于能够更好的匹配并检测出对应的人体姿态。

也有人提出了基于深度学习的方法，比如G-RMI,PAF,RMPE,Mask R-CNN。普遍使用卷积神经网络来构建人体关键点姿态估计网络结构，现在通过行人检测网络识别出人体，但是现有的检测网络通常都是基于分类网络演变而来运用现有的分类网络框架进行修改，并且采用在imagenet上预训练好的模型进行fine-tuning，本发明针对检测这一具体任务提出一个专门的行人检测网络结构，随后将含有人体图像输入到该网络结构中，进行一系列非线性处理(用来拟合一个复杂的映射函数)得到生成的人体骨架关键点姿态图像，将生成的人体骨架关键点姿态图像与真实的标注的人体固件关键点图像作为损失函数的输入并计算该损失函数的值，求梯度来最小化这个值，并利用反向传播函数将求得的梯度反向传播并更新网络权重的参数，多次迭代直到该损失函数不变为止。

由于技术的进一步的发明以及高质量高精确度的人体骨架关键点图像对用户的体验和市场的竞争都具有重要的意义。而现有的人体图像关键点姿态估计生成质量不能满足要求，且不确定性比较大。因此，对人体图像关键点姿态估计方法进行一步改进，是很有必要的。

发明内容

本发明的目的是针对现有技术中存在的技术缺陷，首先提出一种检测网络DetectionNet进而提供一种融合空洞卷积(Dilated conv)的级联金字塔的深度神经网络的人体图像关键点姿态估计方法，以提高人体图像关键点姿态估计生成质量，降低不确定性。

为实现本发明的目的所采用的技术方案是：

一种人体图像关键点姿态估计方法，包括以下步骤：

S1.图像数据预处理：

首先将原始图像送入训练好的基于空洞卷积的特征金字塔网络DetectionNet检测，只输出人体用边界框标记的人体图像；然后将输出的人体图像裁剪成预定格式大小，然后进行数据增强处理；