[发明专利]一种基于多任务学习的人体点云骨架提取方法

说明书

本发明涉及一种基于多任务学习的人体点云骨架提取方法，属于计算机图形学领域。该方法包括：通过PointCNN和MLP得到歧义点云和非歧义点云，消除歧义点云，取非歧义点云作为感兴趣点云；将感兴趣点云输入到PointCNN，采用多任务学习预测点的偏移向量以及人体部位分割，结合预测的偏移向量以及部位得到预测的关节点集合；剔除关节点预测值集合中的低质量预测；对高质量预测点使用DBSCAN聚类方法，得到每个部位关节点坐标预测值；根据关节点的预测语义信息，将所有关节点连接为3D人体骨架；根据人体结构的先验知识，检查并修复3D人体骨架中的错误。本发明提高了三维人体骨架提取的准确率。

技术领域

本发明属于计算机图形学领域，涉及一种基于多任务学习的人体点云骨架提取方法。

背景技术

随着信息技术的发展，三维几何模型已经成为了继音频、图像和视频之后的第四类数字媒体信息。相比前三种数字信息，三维模型能够真实的表达世界，且更加符合人类的认知，因此容易被接受，在工业界和学术界也越来越受到关注。很多基于二维设计的产品渐渐被基于三维模型设计的产品替代，尤其是在3D游戏产业方面，发展迅速，呈现爆炸式增长。随着三维数据扫描设备与计算机硬件软件的迅猛发展，现在越来越多的真实三维模型表达的数据形式多为点云数据，但原始点云中往往含有大量噪声，且占用大量存储空间，不适合直接使用。

近年来国内外已有许多专家学者针对点云骨架的提取进行了深入研究，目前已经有多种点云骨架提取算法，并且对点云缺失和噪声具有很好的鲁棒性，但是这些传统的骨架提取算法也存在着一些缺陷。例如，从点云数据中提取多模型的骨架这个问题一直难以突破。近年来，随着深度学习的飞速发展，基于深度学习的方法在图像识别、目标检测等领域取得惊人的进展，陆续出现了一些基于深度学习的姿态估计方法，能够从二维图像中提取多模型的骨架，但美中不足的是，这些方法的输入数据基本都是二维图像，很少有以三维点云数据作为输入数据的。

发明内容

有鉴于此，本发明的目的在于提供一种基于多任务学习的人体点云骨架提取方法，解决现有点云骨架提取方法无法获取骨架点的语义信息，且提取的三维人体骨架中错误较多的问题。本发明能够从人体点云模型中提取较为精确且包含语义信息的三维人体骨架，提高了三维人体骨架提取的准确率。

为达到上述目的，本发明提供如下技术方案：

一种基于多任务学习的人体点云骨架提取方法，具体包括以下步骤：

S1：通过PointCNN网络提取3D人体点云每一个表面点云特征，然后通过多层感知机MLP对每个点进行二分类，得到歧义点云和非歧义点云，消除歧义点云，取非歧义点云作为感兴趣点云；

S2：将感兴趣点云输入到PointCNN网络提取每一点特征，采用多任务学习的方式，同时预测点的偏移向量以及人体部位分割，结合预测的偏移向量以及部位得到预测的关节点集合；

S3：计算点的密度作为一个点的质量度量，剔除关节点预测值集合中的低质量预测；

S4：对筛选后的高质量的预测点使用DBSCAN聚类方法，得到每个部位关节点坐标预测值；

S5：根据关节点的预测语义信息，将所有关节点连接为3D人体骨架；

S6：根据人体结构的先验知识，检查并修复3D人体骨架中的错误。

进一步，步骤S1中，消除歧义点云，具体包括：首先将归一化后的人体点云模型输入到第一阶段子网络，该子网络使用PointCNN中的x-conv和x-deconv算子学习每个表面点的128维特征；然后将128维特征输入到MLP，并使用softmax激活函数，得到每个点为歧义点的概率p，将概率p大于0.5的点标记为歧义点并将其剔除，得到感兴趣点云。