[发明专利]视频生成方法及装置

说明书

本说明书提供视频生成方法及装置，其中所述视频生成方法包括：获取人脸图像和多媒体模板；对所述人脸图像和所述多媒体模板分别进行预处理，获得所述人脸图像对应的目标人脸图像以及所述多媒体模板对应的目标多媒体模板；确定所述目标人脸图像对应的人脸特征，以及所述目标多媒体模板对应的多媒体特征；基于所述多媒体特征和所述人脸特征生成图像帧序列，并根据所述图像帧序列创建所述人脸图像对应的目标视频。

本申请要求于2021年05月29日提交的、申请号为202110595567.8、发明创造名称为视频生成方法及装置的中国专利申请的优先权。

技术领域

本说明书涉及计算机技术领域，特别涉及一种视频生成方法。本说明书同时涉及一种视频生成装置，一种计算设备，以及一种计算机可读存储介质。

背景技术

随着互联网技术的发展，基于图像生成视频的技术在各领域被广泛的应用，如短视频的编辑场景、电影拍摄场景或游戏CG创建场景等，都会涉及到视频生成技术。现有技术中，视频生成技术往往都是赋予一张静态图像一定的动作特征，并将多张修改后的图像进行合成以得到一段视频。然而由于主体和动作特征的匹配度较低，很容易出现动作不自然、不连贯等问题，尤其是在结合音频的情况下，更难达到音频和视频匹配的效果，因此亟需一种有效的方案以解决上述问题。

发明内容

有鉴于此，本说明书实施例提供了一种视频生成方法。本说明书同时涉及一种视频生成装置，一种计算设备，以及一种计算机可读存储介质，以解决现有技术中存在的技术缺陷。

根据本说明书实施例的第一方面，提供了一种视频生成方法，包括：

获取人脸图像和多媒体模板；

对所述人脸图像和所述多媒体模板分别进行预处理，获得所述人脸图像对应的目标人脸图像以及所述多媒体模板对应的目标多媒体模板；

确定所述目标人脸图像对应的人脸特征，以及所述目标多媒体模板对应的多媒体特征；

基于所述多媒体特征和所述人脸特征生成图像帧序列，并根据所述图像帧序列创建所述人脸图像对应的目标视频。

可选地，对所述人脸图像进行预处理，获得所述人脸图像对应的目标人脸图像，包括：

检测所述人脸图像中的人脸区域，并基于所述人脸区域对所述人脸图像进行裁剪获得中间人脸图像；

将所述中间人脸图像输入至图像处理模型进行处理，获得所述人脸图像对应的所述目标人脸图像。

可选地，所述多媒体模板中包含视频模板和音频模板；

相应的，对所述多媒体模板进行预处理，获得所述多媒体模板对应的目标多媒体模板，包括：

对所述视频模板和所述音频模板分别进行预处理，获得所述视频模板对应的目标视频模板以及所述音频模板对应的目标音频模板；

基于所述目标视频模板和所述目标音频模板组成所述目标多媒体模板。

可选地，确定所述目标人脸图像对应的人脸特征，包括：

将所述目标人脸图像输入至图像编码器进行处理，获得所述图像编码器输出的所述人脸特征。

可选地，确定所述目标多媒体模板对应的多媒体特征，包括：

将所述目标视频模板输入至视频编码器进行处理，获得所述视频编码器输出的目标视频特征；以及

将所述目标音频模板输入至音频编码器进行处理，获得所述音频编码器输出的目标音频特征；

将所述目标视频特征和所述目标音频特征进行特征融合，获得所述目标多媒体模板对应的所述多媒体特征。