[发明专利]视频生成方法及设备

权利要求书

1.一种视频生成方法，包括：

获取目标音频；

根据所述目标音频的特征信息和图像生成模型，生成图像序列，所述图像生成模型用于根据随机输入的向量生成对应的图像；

对所述目标音频和所述图像序列进行结合，生成所述目标音频对应的目标视频。

2.根据权利要求1所述的视频生成方法，所述根据所述目标音频的特征信息和图像生成模型，生成图像序列之前，还包括：

确定所述目标音频所属的目标场景类型；

确定所述目标场景类型对应的图像生成模型，所述目标场景类型对应的图像生成模型用于根据随机输入的向量生成对应所述目标场景类型的图像。

3.根据权利要求2所述的视频生成方法，所述确定所述目标音频所属的目标场景类型，包括：

在多个场景类型中，确定所述目标场景类型为与所述目标音频的标识信息相匹配的场景类型。

4.根据权利要求2所述的视频生成方法，所述确定所述目标场景类型对应的图像生成模型，包括：

基于场景类型与图像生成模型的对应关系，确定所述目标场景类型对应的图像生成模型。

5.根据权利要求1至4任一项所述的视频生成方法，所述根据所述目标音频的特征信息和图像生成模型，生成图像序列，包括：

随机确定初始的输入向量；

根据所述输入向量和所述特征信息，通过所述图像生成模型进行多次图像生成，得到所述图像序列，其中，在所述多次图像生成中，所述目标音频的特征信息用于所述输入向量的更新。

6.根据权利要求5所述的视频生成方法，所述多次图像生成中所述输入向量的更新方向一致，所述根据所述输入向量和所述特征信息，通过所述图像生成模型进行多次图像生成，得到所述图像序列，包括：

确定方向向量；

根据所述输入向量、所述特征信息和所述方向向量，通过所述图像生成模型进行多次图像生成，得到所述图像序列，其中，所述方向向量与每次图像生成中所述输入向量的更新方向相关。

7.根据权利要求6所述的视频生成方法，所述特征信息包括所述目标音频在多个单位时间的频率，所述多次图像生成中的一次图像生成过程包括：

确定所述目标音频在目标单位时间的频率，其中，所述目标单位时间为与当前图像生成次数对应的单位时间；

根据所述目标音频在目标单位时间的频率和所述方向向量，更新所述输入向量；

将更新后的输入向量输入所述图像生成模型，得到当前帧图像。

8.根据权利要求7所述的视频生成方法，所述特征信息还包括所述目标音频在多个单位时间的振幅，所述根据所述目标音频在目标单位时间的频率和所述方向向量，更新所述输入向量之后，还包括：

如果所述目标音频在目标单位时间的振幅与上一单位时间的振幅的振幅差异大于差异阈值，则根据所述振幅差异和所述方向向量，确定扰动量；

根据所述扰动量，对更新后的输入向量进行再次更新。

9.根据权利要求1至4任一项所述的视频生成方法，所述图像生成模型为生成式对抗模型，所述根据所述目标音频的特征信息和图像生成模型，生成图像序列，包括：

根据所述目标音频的特征信息和所述图像生成模型中的生成器，生成所述图像序列。

10.一种模型确定方法，包括：

获取训练数据，所述训练数据包括多个图像；

基于所述训练数据，多次训练图像生成模型，所述图像生成模型用于根据随机输入的向量生成对应的图像；

所述图像生成模型的一次训练过程包括：

随机确定输入向量，并在所述多个图像中随机确定标签数据；

将所述输入向量输入所述图像生成模型，得到输出图像；

根据所述输出图像与所述标签数据的差异，调整所述图像生成模型。