[发明专利]生成模型和生成3D动画的方法、装置、设备和存储介质

说明书

本申请公开了生成模型和生成3D动画的方法、装置、设备和存储介质，涉及人工智能技术领域，具体为计算机视觉、增强现实和深度学习技术领域。具体实现方案为：获取预置的样本集；获取预先建立的生成式对抗网络，其中，生成式对抗网络包括生成器和判别器；执行以下训练步骤：从样本集中选取样本；从该样本的样本音频中提取出样本音频特征；将样本音频特征输入生成器，得到该样本的伪3D网格顶点序列；将伪3D网格顶点序列和该样本的真实3D网格顶点序列输入判别器，判别3D网格顶点的真伪；若生成式对抗网络满足训练完成条件，则得到训练完成的生成器作为生成3D动画的模型。该实施方式提供了可以提升人脸3D动画的质量的模型。

技术领域

本申请涉及人工智能技术领域，具体为计算机视觉、增强现实和深度学习技术领域。

背景技术

经过近些年的探索和发展，计算机视觉已经在数字娱乐、医疗健康、安防监控等很多领域具有应用场景。合成逼真的视觉内容不仅具有很大的商业价值，而且也是业界一直所期望的。如果没有计算机合成的综合视觉效果，许多电影特效也是不可能实现的。目前，网络上就已经存在着大量的人工合成视频。此外，语音识别与文本合成语音技术也已广泛应用于聊天机器人中。现有的基于深度学习的方法，通过单张图像生成整个人脸说话的视频，这种方式已经足以得到很好的与提供的语音匹配的唇形，但是生成的人脸表情帧间抖动比较明显，生成的人脸表情比较虚假，音频和表情不是很同步(显得很违和)。

发明内容

本公开提供了一种生成模型和生成3D动画的方法、装置、设备以及存储介质。

根据本公开的第一方面，提供了一种生成模型的方法，包括：获取预置的样本集，其中，样本集至少包含一个样本，样本包括样本音频、真实3D网格顶点序列。获取预先建立的生成式对抗网络，其中，生成式对抗网络包括生成器和判别器。执行以下训练步骤：从样本集中选取样本。从该样本的样本音频中提取出样本音频特征。将样本音频特征输入生成器，得到该样本的伪3D网格顶点序列。将伪3D网格顶点序列和该样本的真实3D网格顶点序列输入判别器，判别3D网格顶点的真伪。若生成式对抗网络满足训练完成条件，则得到训练完成的生成器作为生成3D动画的模型。

根据本公开的第二方面，提供了一种生成3D动画的方法，包括：从音频中提取音频特征。将音频特征输入根据第一方面中任一项的方法生成的生成式对抗网络的生成器中，生成3D网格顶点序列。对3D网格顶点序列进行渲染，得到3D动画。

根据本公开的第三方面，提供了一种生成模型的装置，包括：样本获取单元，被配置成获取预置的样本集，其中，样本集至少包含一个样本，样本包括样本音频、真实3D网格顶点序列。网络获取单元，被配置成获取预先建立的生成式对抗网络，其中，生成式对抗网络包括生成器和判别器。选取单元，被配置成从样本集中选取样本。提取单元，被配置成从该样本的样本音频中提取出样本音频特征。生成单元，被配置成将样本音频特征输入生成器，得到该样本的伪3D网格顶点序列。判别单元，被配置成将伪3D网格顶点序列和该样本的真实3D网格顶点序列输入判别器，判别3D网格顶点的真伪。输出单元，被配置成若生成式对抗网络满足训练完成条件，则得到训练完成的生成器作为生成3D动画的模型。

根据本公开的第四方面，提供了一种生成3D动画的装置，包括：特征提取单元，被配置成从音频中提取音频特征。序列生成单元，被配置成将音频特征输入根据第一方面中任一项的方法生成的生成式对抗网络的生成器中，生成3D网格顶点序列。动画生成单元，被配置成对3D网格顶点序列进行渲染，得到3D动画。

根据本公开的第五方面，提供了一种电子设备，其特征在于，包括：至少一个处理器。以及与至少一个处理器通信连接的存储器。其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行第一方面中任一项的方法。

根据本公开的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，计算机指令用于使计算机执行第一方面中任一项的方法。