[发明专利]虚拟数字人的驱动方法及位姿获取模型的训练方法

说明书

本公开提供了虚拟数字人的驱动方法及位姿获取模型的训练方法，涉及人工智能技术领域，尤其涉及人机交互、自然语言处理、深度学习、智能搜索领域。具体实现方案为：通过获取虚拟数字人的动画音频数据，并获取目标舞蹈风格，然后根据动画音频数据和目标舞蹈风格，生成位姿信息序列，进而按照位姿信息序列，驱动虚拟数字人做出相应的舞蹈动作，使得针对任一动画音频数据，不再需要花费时间重新训练对应于新的舞蹈风格的模型。

技术领域

本公开涉及人工智能技术领域中的人机交互、自然语言处理、深度学习、智能搜索领域，尤其涉及一种虚拟数字人的驱动方法及位姿获取模型的训练方法。

背景技术

在播放音频数据的同时，同步驱动虚拟数字人做出匹配的、合理的、有效的动作的动画展示方式，一直是学术界的研究热点，并被广泛应用于影视动画、动作捕捉、互动游戏以及互动娱乐等场景下。随着相关处理技术的发展，如何在前述动画展示方式的基础上，实现将同一个虚拟数字人形象的驱动方式进行切换，已经成为了主要的发展方向之一。

然而，相关技术中，尚未存在低成本的、可靠的、能准确表达虚拟数字人的不同舞蹈风格的虚拟数字人的驱动方法。因此，如何在确保准确表达虚拟数字人的不同舞蹈风格的同时，提高驱动过程中的效率及可靠性，并降低成本，已成为了亟待解决的问题。

发明内容

本公开提供了一种虚拟数字人的驱动方法及位姿获取模型的训练方法。

根据本公开的一方面，提供了一种虚拟数字人的驱动方法，包括：获取虚拟数字人的动画音频数据；获取所述虚拟数字人的目标舞蹈风格，其中，所述目标舞蹈风格为所述动画音频数据对应的多个舞蹈风格中的任意一个；根据所述动画音频数据和所述目标舞蹈风格，生成所述虚拟数字人的关键部位的位姿信息序列；按照所述关键部位的位姿信息序列，驱动所述虚拟数字人做出相应的舞蹈动作。

根据本公开的另一方面，提供了一种位姿获取模型的训练方法，包括：获取虚拟数字人的样本动画音频数据集，其中，所述样本动画音频数据集包括至少一个样本动画音频数据，且每个所述样本动画音频数据包括已标注的所述虚拟数字人的关键部位的位姿信息序列真实值；对所述样本动画音频数据进行特征提取，获取所述样本动画音频数据的样本音频特征；将所述样本音频特征输入至待训练的位姿获取模型中，以输出所述虚拟数字人的所述关键部位的位姿信息序列训练值；获取所述位姿信息序列真实值和所述位姿信息序列训练值之间的差异，并根据所述差异调整所述位姿获取模型的模型参数，直至训练结果满足训练结束条件，将最后一次调整所述模型参数后的所述位姿获取模型确定为目标位姿获取模型。

根据本公开的另一方面，提供了一种虚拟数字人的驱动装置，包括：第一获取模块，用于获取虚拟数字人的动画音频数据；第二获取模块，用于获取所述虚拟数字人的目标舞蹈风格，其中，所述目标舞蹈风格为所述动画音频数据对应的多个舞蹈风格中的任意一个；生成模块，用于根据所述动画音频数据和所述目标舞蹈风格，生成所述虚拟数字人的关键部位的位姿信息序列；驱动模块，用于按照所述关键部位的位姿信息序列，驱动所述虚拟数字人做出相应的舞蹈动作。

根据本公开的另一方面，提供了一种位姿获取模型的训练装置，包括：获取模块，用于获取虚拟数字人的样本动画音频数据集，其中，所述样本动画音频数据集包括至少一个样本动画音频数据，且每个所述样本动画音频数据包括已标注的所述虚拟数字人的关键部位的位姿信息序列真实值；特征提取模块，用于对所述样本动画音频数据进行特征提取，获取所述样本动画音频数据的样本音频特征；输出模块，用于将所述样本音频特征输入至待训练的位姿获取模型中，以输出所述虚拟数字人的所述关键部位的位姿信息序列训练值；调整模块，用于获取所述位姿信息序列真实值和所述位姿信息序列训练值之间的差异，并根据所述差异调整所述位姿获取模型的模型参数，直至训练结果满足训练结束条件，将最后一次调整所述模型参数后的所述位姿获取模型确定为目标位姿获取模型。