[发明专利]一种定制数字人的生成方法及设备

说明书

本发明公开了一种定制数字人的生成方法及设备，属于计算机视觉和计算机图形学技术领域，包括步骤：S1，定制数字人视音频数据采集；S2，定制数字人换脸模型优化：将构建换脸模型的源数据与定制的目标数据进行换脸模型的训练，得到优化后的定制角色换脸模型；S3，定制数字人文本转语音模型优化：将构建定制角色的音频数据进行文本转语音模型的调优训练，得到优化后的定制角色文本转语音模型；S4，利用优化后的换脸模型和文本转语音模型，生成定制数字人播报视频。本发明解决了目前高逼真数字人不能高逼真快速定制的技术问题。

技术领域

本发明涉及计算机视觉和计算机图形学技术领域，更为具体的，涉及一种定制数字人的生成方法及设备。

背景技术

随着数字媒体的快速发展，特别是数字人的制作过程中，高逼真快速定制二维数字人成为非常重要的挑战。传统的基于三维模型进行重建的数字人需要在不同光照条件下采集大量的角色数据用于对角色进行建模，然后在渲染引擎中通过特定的动作捕捉设备、面部捕捉设备等进行姿态和表情的驱动。这个过程中，建模不仅需要耗费大量的算力资源，还可能需要更多的时间进行美术设计从而提高模型的逼真度。另外，通过动捕和面捕来驱动三维数字人在数字人制作的过程中也需要耗费大量的算力资源。

通过AI生成的数字人方法也需要通过采集大量的数据，通过采集不同姿态、语音等数据进行联合训练，从而得到数字人生成模型，再通过语音驱动，表情驱动等方法制作数字人播报视频。然而，这种方法仍然需要数天的时间来制作特定的数字人模型。因此，如何快速的定制数字人成为一个亟需解决的技术问题。

发明内容

本发明的目的在于克服现有技术的不足，提供一种定制数字人的生成方法及设备，解决了目前高逼真数字人不能高逼真快速定制的技术问题等。

本发明的目的是通过以下方案实现的：

一种定制数字人的生成方法，包括以下步骤：

S1，定制数字人视音频数据采集；

S2，定制数字人换脸模型优化：将构建换脸模型的源数据与定制的目标数据进行换脸模型的训练，得到优化后的定制角色换脸模型；

S3，定制数字人文本转语音模型优化：将构建定制角色的音频数据进行文本转语音模型的调优训练，得到优化后的定制角色文本转语音模型；

S4，利用优化后的换脸模型和文本转语音模型，生成定制数字人播报视频。

进一步地，在步骤S1中，所述定制数字人视音频数据采集包括子步骤：

S11，对定制角色在选定姿态状态下的视音频进行录制；

S12，通过录制的定制角色的视频，构建用于优化换脸模型的源数据；

S13，通过录制的定制角色的音频，构建用于优化定制角色文本转语音模型的音频数据。

进一步地，在步骤S2中，所述将构建换脸模型的源数据与定制的目标数据进行换脸模型的训练，包括子步骤：

首先构建人脸目标数据集和源数据集，在该数据集上训练得到一个原始换脸模型；

然后利用该原始换脸模型的权重参数作为定制数字人换脸模型的权重初始化参数，结合构建的定制数字人的源数据进行换脸模型的调优训练。

进一步地，在步骤S3中，所述将构建定制角色的音频数据进行文本转语音模型的调优训练，包括子步骤：

首先在文本转语音任务上训练得到一个原始文本转语音模型；

然后利用该原始文本转语音模型的权重参数作为定制数字人文本转语音模型的权重初始化参数，结合构建的定制数字人的音频数据进行文本转语音模型的调优训练。