[发明专利]一种精确的三维手部姿态估计方法

说明书

本发明公开了一种精确的三维手部姿态估计方法，包括：步骤1，采用预先训练好的卷积神经网络对深度图像中的手势进行二维关节点检测，得出包含关节点二维信息的特征图；步骤2，依据关节点在手部中的约束关系和位置将手部关节点分为三个部分，利用步骤1得出的特征图，采用训练好的卷积神经网络按多阶段深度回归方式对手部关节点分成的三个部分进行深度回归处理，直至得出手部各关节点的深度坐标，完成三维手部姿态估计。通过分为二维手关节估计和多阶段深度回归两个子任务，通过三个阶段深度回归估计手部分成的三部分的关节点位置，每阶段会包含估计上一阶段估计内容。由于相邻关节点间的约束信息得到强化利用，提升了三维手部姿态估计的准确性。

技术领域

本发明涉及图像处理领域，尤其涉及一种利用卷积神经网络对深度图像中的手势进行精确的三维手部姿态估计方法。

背景技术

三维(3D)手势估计方法，通常可以分为生成方法、判别方法以及混合方法。近几年使用的比较多的是基于CNN的判别类手势估计方法。现有基于CNN的判别类手势估计方法又可分为基于2D CNN的手势估计方法和基于3D CNN的手势估计方法，目前基于2D CNN的手势估计方法是手势估计领域研究的主流。

3D CNN的手势估计方法在一定程度上拥有比2D CNN的手势估计方法更强的提取输入图像深度信息的能力，但是，相比于2D CNN的手势估计方法，3D CNN的手势估计方法具有更多的参数和更高的网络复杂性，并且其运行成本大大增加。此外，当深度图像被映射到3D空间时，其可能导致信息丢失或添加不必要的信息并导致错误。最近几年，人们在研究基于2D CNN的手势估计方法的同时设计了一系列的模型来弥补2D CNN的手势估计方法与3DCNN的手势估计方法在信息提取上的差距。为了解决手的高度非线性问题，提出了对每根手指分别进行估计的方法，但对每根手指分别进行估计的方法虽然可以解决非线性问题，但却丢失了关节点间的信息。为了充分提取深度图像中的信息，人们提出了多任务的方法将手势估计任务分为几个子任务，并随着任务的一步一步的加深使得提取出来的信息越来越充分，现有的多任务方法大多是先提取深度图像的浅层信息，再进一步提取信息获得图像的高层语义。目前也有根据要提取的坐标维度将手势估计分为2D关节检测和深度回归两个任务的方法。但这种方法中，在深度回归处理时采用的是对整个手部进行直接深度回归，这样并未能充分利用原始图像中的深度信息，在估计深度坐标时会丢失关节点的深度信息，存在深度估计结果并不理想，无法精确估计三维手部姿态的问题。

发明内容

基于现有技术所存在的问题，本发明的目的是提供一种精确的三维手部姿态估计方法，能解决现有手关节二维位置估计方法由于将整个手部进行直接深度回归，未能充分利用原始图像中的深度信息，存在无法精确估计三维手部姿态的问题。

本发明的目的是通过以下技术方案实现的：

本发明一种精确的三维手部姿态估计方法，包括如下步骤：

步骤1，采用预先训练好的卷积神经网络对深度图像中的手势进行二维关节点检测，得出包含关节点二维信息的特征图；

步骤2，根据手部关节点之间的约束关系，依据关节点在手部中的位置将手部关节点分为三个部分，利用所述步骤1得出的包含关节点二维信息的特征图，采用预先训练好的所述卷积神经网络按多阶段深度回归方式对手部关节点分成的三个部分进行深度回归处理，直至得出手部各关节点的深度坐标，完成三维手部姿态估计；所述多阶段深度回归方式为：在对选定的手部的第一个部分进行第一阶段深度处理后，后续每个阶段深度估计的部分均包含前一阶段深度估计的部分，并在此基础上增加对新的部分的估计。

由上述本发明提供的技术方案可以看出，本发明实施例提供的精确的三维手部姿态估计方法，其有益效果为：