[发明专利]视频生成方法及装置

权利要求书

1.一种视频生成方法，其特征在于，包括：

获取人脸图像和多媒体模板，其中，所述多媒体模板中包含视频模板和音频模板；

对所述人脸图像和所述多媒体模板分别进行预处理，获得所述人脸图像对应的目标人脸图像以及所述多媒体模板对应的目标多媒体模板，其中，所述目标多媒体模板包括所述视频模板对应的目标视频模板和所述音频模板对应的目标音频模板；

确定所述目标人脸图像对应的人脸特征，以及所述目标多媒体模板对应的多媒体特征，其中，所述多媒体特征是将所述目标视频模板对应的目标视频特征和所述目标音频模板对应的目标音频特征进行逐帧融合处理获得，所述逐帧融合处理是指将目标视频特征对应的视频帧与目标音频特征对应的音频帧进行逐帧对齐；

基于所述多媒体特征和所述人脸特征生成图像帧序列，并将所述图像帧序列中包含的各个图像帧按照所述目标视频模板进行拼接，根据拼接结果获得所述人脸图像对应的所述目标视频；

其中，对所述多媒体模板进行预处理，获得所述多媒体模板对应的目标多媒体模板，包括：

对所述视频模板和所述音频模板分别进行预处理，获得所述视频模板对应的目标视频模板以及所述音频模板对应的目标音频模板；

基于所述目标视频模板和所述目标音频模板组成所述目标多媒体模板；

对所述视频模板进行预处理，包括：对所述视频模板进行人脸检测，获得所述视频模板中包含人脸的视频区间；基于所述视频区间对所述视频模板进行裁剪处理，获得所述目标视频模板；

对所述音频模板进行预处理，包括：对所述音频模板进行降噪处理，获得中间音频模板；识别所述中间音频模板中的音频区间，并基于所述音频区间对所述中间音频模板进行裁剪处理，获得所述目标音频模板。

2.根据权利要求1所述的视频生成方法，其特征在于，对所述人脸图像进行预处理，获得所述人脸图像对应的目标人脸图像，包括：

检测所述人脸图像中的人脸区域，并基于所述人脸区域对所述人脸图像进行裁剪获得中间人脸图像；

将所述中间人脸图像输入至图像处理模型进行处理，获得所述人脸图像对应的所述目标人脸图像。

3.根据权利要求1所述的视频生成方法，其特征在于，确定所述目标人脸图像对应的人脸特征，包括：

将所述目标人脸图像输入至图像编码器进行处理，获得所述图像编码器输出的所述人脸特征。

4.根据权利要求1所述的视频生成方法，其特征在于，确定所述目标多媒体模板对应的多媒体特征，包括：

将所述目标视频模板输入至视频编码器进行处理，获得所述视频编码器输出的目标视频特征；以及

将所述目标音频模板输入至音频编码器进行处理，获得所述音频编码器输出的目标音频特征；

将所述目标视频特征和所述目标音频特征进行特征融合，获得所述目标多媒体模板对应的所述多媒体特征。

5.根据权利要求1所述的视频生成方法，其特征在于，基于所述多媒体特征和所述人脸特征生成图像帧序列，包括：

将所述多媒体特征和所述人脸特征输入至图像解码器进行处理，获得所述图像解码器输出的多个图像帧；

基于所述多个图像帧生成所述图像帧序列。

6.根据权利要求1所述的视频生成方法，其特征在于，所述将所述图像帧序列中包含的各个图像帧按照所述目标视频模板进行拼接，包括：

对所述目标视频模板进行分帧处理，获得视频帧集合；

确定所述图像帧序列中包含的各个图像帧与所述视频帧集合中包含的各个视频帧之间的对应关系；

基于所述对应关系和所述视频帧集合中包含的各个视频帧之间的排列顺序，对所述图像帧序列中包含的各个图像帧进行排序；

按照排序结果对所述图像帧序列中包含的各个图像帧进行拼接。