[发明专利]生成模型和生成3D动画的方法、装置、设备和存储介质

权利要求书

1.一种生成模型的方法，包括：

获取预置的样本集，其中，所述样本集至少包含一个样本，样本包括样本音频、真实3D网格顶点序列；

获取预先建立的生成式对抗网络，其中，所述生成式对抗网络包括生成器和判别器；

执行以下训练步骤：从所述样本集中选取样本；从该样本的样本音频中提取出样本音频特征；将所述样本音频特征输入所述生成器，得到该样本的伪3D网格顶点序列；将所述伪3D网格顶点序列和该样本的真实3D网格顶点序列输入所述判别器，判别3D网格顶点的真伪；若所述生成式对抗网络满足训练完成条件，则得到训练完成的生成器作为生成3D动画的模型。

2.根据权利要求1所述的方法，其中，所述方法还包括：

若所述生成式对抗网络不满足训练完成条件，则调整所述生成式对抗网络中的相关参数使得损失值收敛，基于调整后的生成式对抗网络，继续执行上述训练步骤。

3.根据权利要求1所述的方法，其中，所述判别器包括以下至少一种：3D网格顶点帧判别器、3D网格顶点序列判别器、音频和3D网格顶点序列同步判别器。

4.根据权利要求3所述的方法，其中，若所述判别器包括3D网格顶点帧判别器，则所述将所述伪3D网格顶点序列和该样本的真实3D网格顶点序列输入所述判别器，判别3D网格顶点的真伪，包括：

将所述伪3D网格顶点序列中的每帧3D网格顶点和真实3D网格顶点序列的每帧3D网格顶点输入所述3D网格顶点帧判别器，判别单帧3D网格顶点的真伪。

5.根据权利要求3所述的方法，其中，若所述判别器包括音频和3D网格顶点序列同步判别器，则所述将所述伪3D网格顶点序列和该样本的真实3D网格顶点序列输入所述判别器，判别3D网格顶点的真伪，包括：

将所述伪3D网格顶点序列和样本音频拼接成的第一矩阵；

将所述真实3D网格顶点序列和样本音频拼接成的第二矩阵；

将所述第一矩阵和所述第二矩阵输入所述音频和3D网格顶点序列同步判别器，判别音频和3D网格顶点序列是否同步。

6.根据权利要求3所述的方法，其中，若所述判别器包括3D网格顶点序列判别器，则所述将所述伪3D网格顶点序列和该样本的真实3D网格顶点序列输入所述判别器，判别3D网格顶点的真伪，包括：

将所述伪3D网格顶点序列和真实3D网格顶点序列输入所述3D网格顶点序列判别器，判别3D网格顶点序列的真伪。

7.根据权利要求1-6中任一项所述的方法，其中，所述生成器包括音频编码模块和表情解码模块。

8.一种生成3D动画的方法，包括：

从音频中提取音频特征；

将所述音频特征输入根据权利要求1-7中任一项所述的方法生成的生成式对抗网络的生成器中，生成3D网格顶点序列；

对所述3D网格顶点序列进行渲染，得到3D动画。

9.一种生成模型的装置，包括：

样本获取单元，被配置成获取预置的样本集，其中，所述样本集至少包含一个样本，样本包括样本音频、真实3D网格顶点序列；

网络获取单元，被配置成获取预先建立的生成式对抗网络，其中，所述生成式对抗网络包括生成器和判别器；

选取单元，被配置成从所述样本集中选取样本；

提取单元，被配置成从该样本的样本音频中提取出样本音频特征；

生成单元，被配置成将所述样本音频特征输入所述生成器，得到该样本的伪3D网格顶点序列；

判别单元，被配置成将所述伪3D网格顶点序列和该样本的真实3D网格顶点序列输入所述判别器，判别3D网格顶点的真伪；

输出单元，被配置成若所述生成式对抗网络满足训练完成条件，则得到训练完成的生成器作为生成3D动画的模型。