[发明专利]一种基于点云语义增强的人手姿态回归方法和系统

权利要求书

1.一种基于点云语义增强的人手姿态回归方法，其特征在于，包括：

提取手部点云数据的点云特征，并进行逐点分类，得到手部点云数据的语义分割信息；

基于所述语义分割信息对所述手部点云数据进行语义增强，基于语义增强后的手部点云数据得到手姿态预测结果，并对所述手姿态预测结果进行几何变换，得到手姿态回归结果；

所述基于所述语义分割信息对所述手部点云数据进行语义增强，还包括：

基于变换学习子网络，以手部点云数据为输入，通过三个PointNet层来提取点云特征，并基于三个全连接层学习得到点云特征的输入变换矩阵和输出变换矩阵。

2.根据权利要求1所述的基于点云语义增强的人手姿态回归方法，其特征在于，提取手部点云数据的点云特征，并进行逐点分类，具体包括：

基于多个点云抽象层、多个点特征传播层和多层感知器构建点云逐点分类子网络，所述点云抽象层对手部点云数据进行采样和分组，并通过PointNet层对分组后的手部点云数据进行点云特征提取，将点云特征传输入对应的点特征传播层；所述点特征传播层对输入的点云特征进行插值操作，并跟相应的底层逐点特征进行串接融合；所述多层感知器用于基于串接融合后的底层逐点特征生成逐点分类的标签。

3.根据权利要求1所述的基于点云语义增强的人手姿态回归方法，其特征在于，基于所述语义分割信息对所述手部点云数据进行语义增强，具体包括：

将所述手部点云数据和所述输入变换矩阵相乘后得到变换后的手部点云数据，将变换后的手部点云数据与所述语义分割信息进行第一次串接融合；提取第一次串接融合后手部点云数据的点云特征，并将提取后的点云特征与语义分割信息进行第二次串接融合。

4.根据权利要求3所述的基于点云语义增强的人手姿态回归方法，其特征在于，并对所述手姿态预测结果进行几何变换，得到手姿态回归结果具体包括：

基于所述输出变换矩阵，对所述手姿态预测结果进行几何变换，得到手姿态回归结果。

5.根据权利要求4所述的基于点云语义增强的人手姿态回归方法，其特征在于，基于三个全连接层学习得到点云特征的输出变换矩阵后还包括：

基于矩阵互逆性损失函数对所述输入变换矩阵和所述输出变换矩阵进行优化，使所述输出变换矩阵为所述输入变换矩阵的逆矩阵。

6.根据权利要求5所述的基于点云语义增强的人手姿态回归方法，其特征在于，所述矩阵互逆性损失函数为：

L_im＝||T_inT_out-I||²

式中，T_in为输入变换矩阵，T_out为输出变换矩阵，I为单位矩阵。

7.一种基于点云语义增强的人手姿态回归系统，其特征在于，包括点云逐点分类子网络和姿态回归子网络；

所述点云逐点分类子网络用于提取手部点云数据的点云特征，并进行逐点分类，得到手部点云数据的语义分割信息；

所述姿态回归子网络用于基于所述语义分割信息对所述手部点云数据进行语义增强，基于语义增强后的手部点云数据得到手姿态预测结果，并对所述手姿态预测结果进行几何变换，得到手姿态回归结果；所述基于所述语义分割信息对所述手部点云数据进行语义增强，还包括：基于变换学习子网络，以手部点云数据为输入，通过三个PointNet层来提取点云特征，并基于三个全连接层学习得到点云特征的输入变换矩阵和输出变换矩阵。

8.一种基于点云语义增强的人手姿态回归设备，其特征在于，包括：

至少一个处理器；以及

与所述处理器通信连接的至少一个存储器，其中：

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至6任一所述的方法。

9.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至6任一所述的方法。