[发明专利]视频的生成方法、装置、电子设备及可读存储介质

权利要求书

1.一种视频的生成方法，其特征在于，包括：

获取待生成视频中目标对象的脸部图像的三维脸部网格和所述脸部图像的脸部图像纹理；

根据所述目标对象的音频内容的音频特征，获得所述脸部图像的各表情参数；

根据所述脸部图像的三维脸部网格、所述脸部图像的各表情参数和所述脸部图像的脸部图像纹理，获得所述三维脸部网格的各渲染脸部图像；

对所述三维人脸网格的各渲染人脸图像和模板视频的各视频帧图像进行融合处理，以获得融合之后的各融合视频帧图像；

对所述各融合视频帧图像进行合成处理，以生成融合视频。

2.根据权利要求1所述的方法，其特征在于，所述获取待生成视频中目标对象的脸部图像的三维脸部网格和所述脸部图像的脸部图像纹理，包括：

根据所述目标对象的图像内容，获得所述脸部图像的三维脸部网格；

根据所述脸部图像的三维脸部网格与所述目标对象的图像内容的投影关系，获得所述脸部图像的脸部图像纹理。

3.根据权利要求2所述的方法，其特征在于，所述根据所述目标对象的图像内容，获得所述脸部图像的三维脸部网格，包括：

根据所述目标对象的图像内容，获得所述目标对象的图像特征信息；以及根据所述目标对象的图像特征信息，利用预先训练的第一神经网络，获得所述脸部图像的三维脸部网格；或者

根据所述目标对象的图像内容，利用预先训练的第二神经网络，获得所述脸部图像的三维脸部网格；或者

利用人工标定关键点，对所述目标对象的图像内容进行建模处理，以获得所述脸部图像的三维脸部网格。

4.根据权利要求3所述的方法，其特征在于，所述根据所述目标对象的图像特征信息，利用预先训练的第一神经网络，获得所述脸部图像的三维脸部网格，包括：

根据所述目标对象的图像特征信息，利用预先训练的第一神经网络，获得所述脸部图像的各形状参数；

根据所述脸部图像的各形状参数，获得所述脸部图像的三维脸部网格。

5.根据权利要求1所述的方法，其特征在于，所述获取待生成视频中目标对象的脸部图像的三维脸部网格和所述脸部图像的脸部图像纹理，包括：

获取基础卡通形象的脸部形状和脸部纹理；

根据所述基础卡通形象的脸部形状和脸部纹理，获得所述脸部图像的三维脸部网格和所述脸部图像的脸部图像纹理。

6.根据权利要求1所述的方法，其特征在于，所述根据所述目标对象的音频内容的音频特征，获得所述脸部图像的各表情参数之后，还包括：

利用所述目标对象的图像数据和所述图像数据所对应的音频数据，对所述脸部图像的各表情参数进行调整处理，以获得调整之后的所述脸部图像的各表情参数。

7.根据权利要求1-6中任一项所述的方法，其特征在于，所述根据所述脸部图像的三维脸部网格、所述脸部图像的各表情参数和所述脸部图像的脸部图像纹理，获得所述三维脸部网格的各渲染脸部图像，包括：

根据所述脸部图像的各表情参数，获得所述各表情参数所对应的三维牙齿网格和牙齿图像纹理；

根据所述脸部图像的三维脸部网格、所述脸部图像的各表情参数和所述脸部图像的脸部图像纹理，以及所述三维牙齿网格和所述牙齿图像纹理，获得所述三维脸部网格的各渲染脸部图像。

8.一种视频的生成装置，其特征在于，包括：

网格纹理获取单元，用于获取待生成视频中目标对象的脸部图像的三维脸部网格和所述脸部图像的脸部图像纹理；

表情参数获取单元，用于根据所述目标对象的音频内容的音频特征，获得所述脸部图像的各表情参数；

网格渲染单元，用于根据所述脸部图像的三维脸部网格、所述脸部图像的各表情参数和所述脸部图像的脸部图像纹理，获得所述三维脸部网格的各渲染脸部图像；

图像融合单元，用于对所述三维人脸网格的各渲染人脸图像和模板视频的各视频帧图像进行融合处理，以获得融合之后的各融合视频帧图像；

视频合成单元，用于对所述各融合视频帧图像进行合成处理，以生成融合视频。