[发明专利]视频的生成方法、装置、电子设备及可读存储介质

说明书

本申请公开了一种视频的生成方法、装置、电子设备及可读存储介质，涉及计算机视觉技术。具体实现方案为获取待生成视频中目标对象的脸部图像的三维脸部网格和所述脸部图像的脸部图像纹理；根据所述目标对象的音频内容的音频特征，获得所述脸部图像的各表情参数；根据所述脸部图像的三维脸部网格、所述脸部图像的各表情参数和所述脸部图像的脸部图像纹理，获得所述三维脸部网格的各渲染脸部图像；对所述三维人脸网格的各渲染人脸图像和模板视频的各视频帧图像进行融合处理，以获得融合之后的各融合视频帧图像；以及对所述各融合视频帧图像进行合成处理，以生成融合视频。

技术领域

涉及计算机技术，具体涉及计算机视觉技术，尤其涉及一种视频的生成方法、装置、电子设备及可读存储介质。

背景技术

随着互联网的深入发展，终端能够集成越来越多的功能，从而使得应用于终端上的应用(Application，APP)层出不穷。有些应用中会涉及视频的内容表达，通常可以采用人工方式，进行视频的录制，以生成具有各种内容表达的视频。

然而，由于完全依赖人工录制，使得视频生成的效率较低。尤其是对于一些具有固定内容表达的视频，例如新闻播报、学科教学等内容表达的视频，这些视频所表达的内容是固定的，完全采用人工录制的方式，不但效率特别地，而且还会造成不必要的人力资源的浪费。

发明内容

本申请的多个方面提供一种视频的生成方法、装置、电子设备及可读存储介质，用以提高视频生成的效率。

本申请的一方面，提供一种视频的生成方法，包括：

获取待生成视频中目标对象的脸部图像的三维脸部网格和所述脸部图像的脸部图像纹理；

根据所述目标对象的音频内容的音频特征，获得所述脸部图像的各表情参数；

根据所述脸部图像的三维脸部网格、所述脸部图像的各表情参数和所述脸部图像的脸部图像纹理，获得所述三维脸部网格的各渲染脸部图像；

对所述三维人脸网格的各渲染人脸图像和模板视频的各视频帧图像进行融合处理，以获得融合之后的各融合视频帧图像；

对所述各融合视频帧图像进行合成处理，以生成融合视频。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述获取待生成视频中目标对象的脸部图像的三维脸部网格和所述脸部图像的脸部图像纹理，包括：

根据所述目标对象的图像内容，获得所述脸部图像的三维脸部网格；

根据所述脸部图像的三维脸部网格与所述目标对象的图像内容的投影关系，获得所述脸部图像的脸部图像纹理。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述根据所述目标对象的图像内容，获得所述脸部图像的三维脸部网格，包括：

根据所述目标对象的图像内容，获得所述目标对象的图像特征信息；以及根据所述目标对象的图像特征信息，利用预先训练的第一神经网络，获得所述脸部图像的三维脸部网格；或者

根据所述目标对象的图像内容，利用预先训练的第二神经网络，获得所述脸部图像的三维脸部网格；或者

利用人工标定关键点，对所述目标对象的图像内容进行建模处理，以获得所述脸部图像的三维脸部网格。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述根据所述目标对象的图像特征信息，利用预先训练的第一神经网络，获得所述脸部图像的三维脸部网格，包括：

根据所述目标对象的图像特征信息，利用预先训练的第一神经网络，获得所述脸部图像的各形状参数；

根据所述脸部图像的各形状参数，获得所述脸部图像的三维脸部网格。