[发明专利]一种基于多任务学习的人体点云骨架提取方法

权利要求书

1.一种基于多任务学习的人体点云骨架提取方法，其特征在于，该方法具体包括以下步骤：

S1：通过PointCNN网络提取3D人体点云每一个表面点云特征，然后通过多层感知机MLP对每个点进行二分类，得到歧义点云和非歧义点云，消除歧义点云，取非歧义点云作为感兴趣点云；

S2：将感兴趣点云输入到PointCNN网络提取每一点特征，采用多任务学习的方式，同时预测点的偏移向量以及人体部位分割，结合预测的偏移向量以及部位得到预测的关节点集合；

S3：计算点的密度作为一个点的质量度量，剔除关节点预测值集合中的低质量预测；

S4：对筛选后的高质量的预测点使用DBSCAN聚类方法，得到每个部位关节点坐标预测值；

S5：根据关节点的预测语义信息，将所有关节点连接为3D人体骨架；

S6：根据人体结构的先验知识，检查并修复3D人体骨架中的错误。

2.根据权利要求1所述的人体点云骨架提取方法，其特征在于，步骤S1中，消除歧义点云，具体包括：首先将归一化后的人体点云模型输入到第一阶段子网络，该子网络使用PointCNN中的x-conv和x-deconv算子学习每个表面点的128维特征；然后将128维特征输入到MLP，并使用softmax激活函数，得到每个点为歧义点的概率p，将概率p大于0.5的点标记为歧义点并将其剔除，得到感兴趣点云。

3.根据权利要求1所述的人体点云骨架提取方法，其特征在于，步骤S2具体包括：多任务学习部位分割与偏移向量偏移，其中以感兴趣点云为第二阶段子网络的输入，该子网络使用PointCNN中的x-conv和x-deconv算子重新习得每个表面点的192维特征，将学习得到的192维特征用于两个方面：

(1)用于人体部位分割，将192维特征输入MLP，并使用softmax激活函数，得到每个点属于每个关节部位的概率，将概率最大的对应的部位预测为该点所属的关节部位；

(2)用于偏移向量预测，将192维特征输入多层感知机MLP，输出每个表面点到对应关节点的偏移向量预测值，将偏移向量分解为单位向量unit与模长length两个子任务进行学习，两者相乘得到偏移向量，然后将每个表面点沿着偏移向量预测值收缩，得到一个关节点位置预测值，最终将感兴趣点云转化为关节点预测值集合。

4.根据权利要求3所述的人体点云骨架提取方法，其特征在于，步骤S2中，在偏移向量预测时，将偏移向量分解为单位向量unit与模长length两个子任务同时进行学习，并采用自适应权重来对多任务损失进行优化，计算公式如下：

L_total＝L_offset+L_seg (1)

其中，L_total是总损失函数，L_offset是偏移向量损失函数，L_seg是部位分割损失函数；而L_offset、L_seg计算分别如下：

其中，σ₁、σ₂、σ₃是权重参数，L_length为模长损失函数，L_unit为单位向量损失函数；公式(3)中，等式左边L_seg为多任务优化后的部位分割损失函数，等式右边的L_seg为原始未进行多任务优化的部位分割损失函数。

5.根据权利要求3所述的人体点云骨架提取方法，其特征在于，步骤S3中，剔除关节点预测值集合中的低质量预测，具体包括：对于步骤S2中的关节点预测值j_pre，预测类别为A，即中每个点计算密度ρ_i，ρ_i是以点p_i为球心r_i为半径所包含的点数量与A类别的点数量的比例；计算出所有点的密度后进行降序，筛选出密度前60％作为A类别的高质量关节点云。