[发明专利]一种数字人动作生成方法、装置及设备

说明书

本发明公开一种数字人动作生成方法、装置及设备，本发明涉及人工智能识别领域，用于解决现有技术中数字人动作生成无法准确实现的问题。包括：构建人体姿态识别模型以及面部识别模型，生成广谱性的数字人生物数据；获取目标数字人的图像信息；将图像信息中的姿态信息以及面部信息分别输入人体姿态识别模型以及面部识别模型中，得到目标数字人的姿态数据以及面部数据；与广谱性的数字人生物数据进行融合比对，确定缺失数据；缺失数据补全后，基于补全后的生物数据生成目标数字人的指定动作。该方法不需要进行动捕，即使模型原型人物无法到现场配合制作或是原型人物已经去世也可以实时预测并生成数字人的新动作，以实现逼真的人物再现效果。

技术领域

本发明涉及人工智能识别技术领域，尤其涉及一种数字人动作生成方法、装置及设备。

背景技术

虚拟数字人(Metahuman)是“元宇宙”中的基本行为主体，融合了计算机图形学、语音合成技术、计算科学等众多新兴科技，是物理世界用户与“元宇宙”实现交互的媒介，被视为未来人们进入“元宇宙”的入口，简称“数字人”。依靠相对成熟的支撑技术和明确的应用场景，虚拟数字人成为“元宇宙”率先突围落地的技术领域，近年来涌现出虚拟客服、虚拟主播、虚拟主持、虚拟偶像等大量应用方案。数字人，是信息科学与生命科学融合的产物，是利用信息科学的方法对人体在不同水平的形态和功能进行虚拟仿真，通过建立多学科和多层次的数字模型以达到对人体从微观到宏观的精确模拟。数字人视频目前已被应用于各种场合，其能够为人们带来比较好的体验。

目前很多影视和制作流程都可以采用动捕加面捕的技术快速对动画场景搭建，数字人动作都是通过预先录制或者动画构成来实现的。传统的数字人动作生成方式主要是通过动捕和美工动画搭建两种方式来完成。但是，一些情况下我们无法要求一些模型原型人物到现场配合制作，或是原型人物已经去世。从而导致无法实现数字人动作生成。

因此，亟需提供一种新型的数字人动作生成方案。

发明内容

本发明的目的在于提供一种数字人动作生成方法、装置及设备，用于解决现有技术中必须通过预先录制或者动画构成来实现数字人动作生成，在模型原型人物无法到现场配合制作，或是原型人物已经去世的情况下，无法准确实现数字人动作生成的问题。

为了实现上述目的，本发明提供如下技术方案：

第一方面，本发明提供一种数字人动作生成方法，方法包括：

构建人体姿态识别模型以及面部识别模型，生成广谱性的数字人生物数据；

获取目标数字人的图像信息；所述图像信息中包括所述目标数字人的姿态信息以及面部信息；

将所述姿态信息输入所述人体姿态识别模型中，得到所述目标数字人的姿态数据；

将所述面部信息输入所述面部识别模型中，得到所述目标数字人的面部数据；

将所述姿态数据以及所述面部数据和广谱性的数字人生物数据进行融合比对，确定缺失数据；

缺失数据补全后，基于补全后的生物数据生成目标数字人的指定动作。

与现有技术相比，本发明提供的数字人动作生成方法，通过构建人体姿态识别模型以及面部识别模型，生成广谱性的数字人生物数据；获取目标数字人的图像信息；将图像信息中的姿态信息输入人体姿态识别模型中，得到目标数字人的姿态数据；将图像信息中的面部信息输入面部识别模型中，得到目标数字人的面部数据；将姿态数据以及面部数据和广谱性的数字人生物数据进行融合比对，确定缺失数据；缺失数据补全后，基于补全后的生物数据生成目标数字人的指定动作。该方法只需要采集目标数字人的动作以及表情即可，不需要进行动捕，即使模型原型人物无法到现场配合制作或是原型人物已经去世也可以实时预测并生成数字人的新动作，以实现逼真的人物再现效果。

第二方面，一种数字人动作生成装置，装置包括：