[发明专利]一种数字人动作生成方法、装置及设备

权利要求书

1.一种数字人动作生成方法，其特征在于，方法包括：

构建人体姿态识别模型以及面部识别模型，生成广谱性的数字人生物数据；

获取目标数字人的图像信息；所述图像信息中包括所述目标数字人的姿态信息以及面部信息；

将所述姿态信息输入所述人体姿态识别模型中，得到所述目标数字人的姿态数据；

将所述面部信息输入所述面部识别模型中，得到所述目标数字人的面部数据；

将所述姿态数据以及所述面部数据和广谱性的数字人生物数据进行融合比对，确定缺失数据；

缺失数据补全后，基于补全后的生物数据生成目标数字人的指定动作。

2.根据权利要求1所述的方法，其特征在于，构建人体姿态识别模型以及面部识别模型，生成广谱性的数字人生物数据，具体包括：

获取海量用户动作捕捉信息以及面部表情信息；

基于海量用户的基本身份信息构建用户生物数据；所述基本身份信息至少包括年龄以及性别；

基于所述用户生物数据进行机器学习，构建人体姿态识别模型以及面部识别模型，生成广谱性的数字人生物数据。

3.根据权利要求2所述的方法，其特征在于，基于所述用户生物数据进行机器学习，构建人体姿态识别模型，具体包括：

基于海量用户的动作捕捉信息，采用神经网络算法确定各用户全身关键点数据；

基于各用户全身关键点数据做笛卡尔积，得出输入网络的人体姿态数据；

基于所述人体姿态数据进行随机森林的训练，得到广谱性的人体姿态识别模型。

4.根据权利要求2所述的方法，其特征在于，基于所述用户生物数据进行机器学习，构建面部识别模型，具体包括：

基于海量用户的面部表情信息，采用神经网络算法确定各用户的面部检测点信息；

对各用户的面部检测点信息与肌肉进行匹配，并对各用户的面部表情进行学习，得到广谱性的面部识别模型。

5.根据权利要求1所述的方法，其特征在于，缺失数据补全后，基于补全后的生物数据生成目标数字人的指定动作，具体包括：

将所述目标数字人的生物数据与广谱性的数字人生物数据进行补充融合，以广谱性的数字人生物数据为基准，对目标数字人的生物数据进行补充融合，得到补充融合后的生物数据库；

基于补充融合后的生物数据库中的生物数据生成目标数字人的指定动作。

6.根据权利要求3所述的方法，其特征在于，所述图像信息至少包括图片信息、视频信息以及动画信息；

基于所述人体姿态数据进行随机森林的训练，得到广谱性的人体姿态识别模型之前，还包括：

将海量用户的动作捕捉信息中的人体动作按照动作类型进行分类，得到各种人体姿态。

7.根据权利要求5所述的方法，其特征在于，基于补充融合后的生物数据库中的生物数据生成目标数字人的指定动作，具体包括：

基于补充融合后的生物数据库中的生物数据进行机器学习，控制所述目标数字人感知虚拟世界，根据当前场景通过生物数据库的生物数据进行二次AI建模或调用数据库已生成的识别模型，做出指定动作；所述指定动作包括目标数字人曾经做过或未做过的动作。

8.一种数字人动作生成装置，其特征在于，装置包括：

广谱性数字人生物数据生成模块，用于构建人体姿态识别模型以及面部识别模型，生成广谱性的数字人生物数据；

目标数字人图像信息获取模块，用于获取目标数字人的图像信息；所述图像信息中包括所述目标数字人的姿态信息以及面部信息；

姿态数据确定模块，用于将所述姿态信息输入所述人体姿态识别模型中，得到所述目标数字人的姿态数据；

面部数据确定模块，用于将所述面部信息输入所述面部识别模型中，得到所述目标数字人的面部数据；

缺失数据确定模块，用于将所述姿态数据以及所述面部数据和广谱性的数字人生物数据进行融合比对，确定缺失数据；

目标数字人指定动作生成模块，用于缺失数据补全后，基于补全后的生物数据生成目标数字人的指定动作。