[发明专利]一种基于标签分布学习的三维手部姿态估计方法、存储介质及终端

说明书

本发明涉及一种基于标签分布学习的三维手部姿态估计方法、存储介质及终端，所述方法包括：通过最远点采样法和基于OBB的点云归一化法对点云数据进行预处理；采样特征学习网络将输入点云数据进行处理得到点云数据在高纬度的特征向量；通过标签分布学习网络将手部姿态各关节点的位置抽象为其概率密度的空间位置分布，并根据各关节点在空间位置部分的概率密度的大小实现对手部姿态各关节点的估计。本发明的优点在于：可以充分利用3D空间信息，可以近似表示3D体素，使得复杂度大大降低，复杂度与分辨率成一维线性关系；通过OBB归一化可以使初始点云数据在整体方向上保持一致，而一般归一化只是在简单归一化到0和1之间，增加对输入数据的鲁棒性。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于标签分布学习的三维手部姿态估计方 法、存储介质及终端。

背景技术

近年来，使用深度相机进行实时3D手部姿势估计的研究稳步增长，因为该技术可以在 各种人机交互应用程序中发挥重要作用，尤其是在虚拟现实和增强现实应用程序中。然而， 由于3D手势的高维度，手势的变化大，使得3D手势估计仍遭受准确性和鲁棒性的问题。

目前对手部姿态进行估计的现有技术存在缺点有：1、以2D图像作为输入的2D CNN无 法充分利用深度图像中的3D空间信息；2、将手部深度图像编码为3D体素，并应用3D CNN推断3D手部姿势；但是，3D CNN的时间和空间复杂度随输入3D体素的分辨率呈立方增长，计算量过大。因此，如何降低计算量、减少计算的复杂度，使得手部姿态估计更加精确，是目前需要解决的问题。

发明内容

本发明的目的在于克服现有技术的缺点，提供了一种基于标签分布学习的三维手部姿态 估计方法、存储介质及终端，解决了目前对手部姿态进行估计的方法中存在的问题。

本发明的目的通过以下技术方案来实现：一种基于标签分布学习的三维手部姿态估计方 法，所述方法包括：

通过最远点采样法和基于OBB的点云归一化法对点云数据进行预处理；

采样特征学习网络将输入点云数据进行处理得到点云数据在高纬度的特征向量；

通过标签分布学习网络将手部姿态各关节点的位置抽象为其概率密度的空间位置分布， 并根据各关节点在空间位置部分的概率密度的大小实现对手部姿态各关节点的估计。

所述方法还包括在进行最远点采样法和基于OBB的点云归一化法对点云数据进行预处 理之前，需要将采集到的手部三维散点深度图像的原始数据转换为三维点云数据的步骤。

所述通过最远点采样法对点云数据进行预处理步骤包括：

从初始点集P＝{p₀,p₁,…,p_n}中选取任意一点p_i，并从剩余点中取出与该点距离最远的p_ij加 入到新的采样点集P_sa中；

以新加入的采样点集P_sa中的点p_ij为基准继续从剩余点钟取出与到采样点集P_sa距离最远 的点继续放入到采样点集P_sa中；迭代直到采样到目标数量N截止。

所述基于OBB的点云归一化法对点云数据进行预处理步骤包括：

对输入的点云数据进行PCA主成分分析，得到输入点云数据的特征向量矩阵；

将原始数据乘以特征向量矩阵得到OBB坐标系下的原始数据旋转矩阵；

并根据点云数据在OBB坐标系下各个坐标方向最大值进行归一化。