[发明专利]一种基于点云语义增强的人手姿态回归方法和系统

说明书

本发明实施例提供一种基于点云语义增强的人手姿态回归方法和系统，提取手部点云数据的点云特征，并进行逐点分类，得到手部点云数据的语义分割信息，基于语义分割信息对手部点云数据进行语义增强，基于语义增强后的手部点云数据得到手姿态预测结果，并对所述手姿态预测结果进行几何变换，得到手姿态回归结果，利用网络学习来对输入数据和输出进行几何变换的方法，使得人手姿态估计方法对于输入数据的几何变换更加鲁棒，将输入点云逐点分类子网络的语义信息和姿态回归子网络进行有效融合，使得人手姿态估计的性能得到进一步提升。

技术领域

本发明涉及计算机技术领域，更具体地，涉及一种基于点云语义增强的人手姿态回归方法和系统。

背景技术

在基于视觉的人机交互中，人手姿态估计是指准确预测人手的骨架节点的三维坐标位置，在虚拟现实、增强现实、人机交互等领域有着广阔的应用前景。人手姿态估计问题在过去十几年内都是计算机视觉领域一个热门的研究点。

基于视觉的人手姿态估计方法可以分为2类:一类是基于表观的方法；通过机器学习从二维图像特征空间到三维人手姿态空间建立映射来估计人手的状态，基于表观方法的优点在于易于实现实时跟踪，缺点是为保证精度必须具有稠密的学习样本并在庞大的图像数据库中建立起高效的学习和搜索算法；另一类是基于模型的方法，把人手三维模型投影到二维图像空间，通过特征比较和数据估算修正三维模型中估计的姿态参数，

基于模型方法的优点在于估计结果更加精确，但这种方法的性能依赖于所选的模型，通常将深度图像作为单通道图像输入到二维卷积神经网络(Convolutional NeuralNetwork，CNN)中，然后预测人手姿态。然而，从二维图像映射到三维节点坐标是一个高度非线性的问题，输入和输出空间的不一致使得网络学习非常困难。近年来也有基于三维卷积神经网络(3D CNN)的方法，这类方法首先把深度图像转换成体素表示然后利用3D CNN来回归姿态。然而，3D体素需要把连续的坐标信息进行量化表示，从而引入了量化误差，对精确的人手姿态估计不利。同时，3D CNN的方法对内存占用较大，尤其当3D体素分辨率较高时尤为明显；训练出来的网络对输入的几何变换不鲁棒，且精度受限，此外，现有的方法大多基于热度图预测或者直接回归，姿态回归的性能低。

发明内容

本发明提供一种克服上述问题或者至少部分地解决上述问题的一种基于点云语义增强的人手姿态回归方法和系统。

根据本发明的第一个方面，提供一种基于点云语义增强的人手姿态回归方法，包括：

提取手部点云数据的点云特征，并进行逐点分类，得到手部点云数据的语义分割信息；

基于所述语义分割信息对所述手部点云数据进行语义增强，基于语义增强后的手部点云数据得到手姿态预测结果，并对所述手姿态预测结果进行几何变换，得到手姿态回归结果。

根据本发明的第二个方面，提供一种基于点云语义增强的人手姿态回归设备，包括：

至少一个处理器；以及

与所述处理器通信连接的至少一个存储器，其中：

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如上述基于点云语义增强的人手姿态回归方法。

根据本发明的第二个方面，提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如上述基于点云语义增强的人手姿态回归方法。