[发明专利]基于点云的人脸关键点检测方法、装置、系统及存储介质

权利要求书

1.一种基于点云的人脸关键点检测方法，其特征在于，所述方法包括：

获取3D点云数据；

将所述3D点云数据输入训练好的关键点检测模型得到所述3D点云数据的人脸关键点，其中，所述关键点检测模型包括分割网络和检测网络，

所述3D点云数据输入所述分割网络进行人脸分割得到人脸点云，并输入到所述检测网络；

所述检测网络基于所述人脸点云中的每个点预测人脸关键点得到每个点的预测关键点，并根据每个点对同一人脸关键位置预测的所述预测关键点得到所述人脸关键位置的人脸关键点；

所述检测网络基于所述人脸点云中的每个点预测人脸关键点得到每个点的预测关键点，包括：基于所述人脸点云的每个点的坐标预测所述每个点与所述人脸关键点之间的距离差；根据所述每个点的坐标和所述距离差计算所述每个点的预测关键点的坐标；

所述根据每个点对同一人脸关键位置预测的所述预测关键点得到所述人脸关键位置的人脸关键点，包括：去掉对同一人脸关键位置预测的所述预测关键点中的异常预测关键点；基于剩下的对同一人脸关键位置预测的所述预测关键点得到所述人脸关键位置的人脸关键点；基于剩下的对同一人脸关键位置预测的所述预测关键点得到所述人脸关键位置的人脸关键点，包括：计算与所述剩下的每个所述预测关键点的距离之和最小的点作为所述人脸关键位置的人脸关键点，并计算每个所述预测关键点的坐标平均值得到所述人脸关键点的坐标。

2.如权利要求1所述的方法，其特征在于，去掉对同一人脸关键位置预测的所述预测关键点中的异常预测关键点，包括：采用随机抽样一致方法去掉所述异常预测关键点。

3.如权利要求1所述的方法，其特征在于，所述分割网络和/或所述检测网络包括PointNet网络。

4.如权利要求1所述的方法，其特征在于，所述3D点云数据输入所述分割网络进行人脸分割得到人脸点云，包括：

将所述3D点云数据输入所述分割网络；

所述分割网络计算所述3D点云数据中每个点属于人脸的概率；

将所述每个点属于人脸的概率与人脸概率阈值比较得到所述人脸点云。

5.一种基于点云的人脸关键点检测装置，其特征在于，所述装置包括：

获取模块，用于获取3D点云数据；

检测模块，用于将所述3D点云数据输入训练好的关键点检测模型得到所述3D点云数据的人脸关键点，其中，所述关键点检测模型包括分割网络和检测网络，

所述分割网络用于对所述3D点云数据进行分割得到人脸点云，并输入到所述检测网络；

所述检测网络用于基于所述人脸点云中的每个点预测人脸关键点得到每个点的预测关键点，并根据每个点对同一人脸关键位置预测的所述预测关键点得到所述人脸关键位置的人脸关键点；

所述检测网络基于所述人脸点云中的每个点预测人脸关键点得到每个点的预测关键点，包括：基于所述人脸点云的每个点的坐标预测所述每个点与所述人脸关键点之间的距离差；根据所述每个点的坐标和所述距离差计算所述每个点的预测关键点的坐标；

所述根据每个点对同一人脸关键位置预测的所述预测关键点得到所述人脸关键位置的人脸关键点，包括：去掉对同一人脸关键位置预测的所述预测关键点中的异常预测关键点；基于剩下的对同一人脸关键位置预测的所述预测关键点得到所述人脸关键位置的人脸关键点；基于剩下的对同一人脸关键位置预测的所述预测关键点得到所述人脸关键位置的人脸关键点，包括：计算与所述剩下的每个所述预测关键点的距离之和最小的点作为所述人脸关键位置的人脸关键点，并计算每个所述预测关键点的坐标平均值得到所述人脸关键点的坐标。

6.一种基于点云的人脸关键点检测系统，包括存储器、处理器及存储在所述存储器上且在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述方法的步骤。

7.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被计算机执行时实现权利要求1至4中任一项所述方法的步骤。