[发明专利]视频生成方法、装置和电子设备

权利要求书

1.一种视频生成方法，其特征在于，所述方法包括：

基于目标语音对应的语音文字，生成人脸动作参数；所述人脸动作参数用于指示人物说所述目标语音时的脸部动作；

基于所述人脸动作参数和包含目标人物的第一视频，生成目标视频；其中，所述目标视频包括：所述目标人物说所述目标语音的视频图像。

2.根据权利要求1所述的方法，其特征在于，所述人脸动作参数包括口型参数、表情参数和头部姿态参数中的一种或多种。

3.根据权利要求1所述的方法，其特征在于，所述人脸动作参数包括口型参数；所述基于目标语音对应的语音文字，生成人脸动作参数的步骤，包括：

生成所述语音文字对应的音素序列；其中，所述音素序列包括多个音素；所述语音文字中的每个文字对应至少一个音素；所述多个音素按照所述语音文字中的文字顺序排列；

基于所述音素序列生成所述口型参数。

4.根据权利要求3所述的方法，其特征在于，生成所述语音文字对应的音素序列的步骤，包括：

生成所述语音文字中每个文字对应的音素；

根据所述目标语音中的时间戳，调整每个音素的数量，得到所述音素序列；其中，所述音素序列中，每个所述时间戳对应一个音素。

5.根据权利要求3所述的方法，其特征在于，基于所述音素序列生成所述口型参数的步骤，包括：

从预设的音素与音素特征的对应关系中，获取所述音素序列中音素的音素特征；按照所述音素序列的音素排列顺序组合获取到的音素特征，得到音素特征序列；

将所述音素特征序列输入至预先训练完成的第一参数输出网络中，输出所述口型参数。

6.根据权利要求1所述的方法，其特征在于，所述人脸动作参数包括表情参数和/或头部姿态参数；所述基于目标语音对应的语音文字，生成人脸动作参数的步骤，包括：

生成所述语音文字对应的文字序列；所述语音文字中的每个第一文字对应所述文字序列中的至少一个第二文字；所述第一文字对应的第二文字的数量，与所述第一文字在所述目标语音中对应的时间戳数量相匹配；

从预设的文字与文字特征的对应关系中，获取所述文字序列中文字的文字特征；按照所述文字序列中的文字排列顺序组合获取到的文字特征，得到文字特征序列；

基于所述文字特征序列生成所述人脸动作参数。

7.根据权利要求6所述的方法，其特征在于，基于所述文字特征序列生成所述人脸动作参数的步骤，包括：

获取所述目标语音对应的情绪类别；

从预设的情绪类别与情绪特征的对应关系中，获取所述目标语音对应的情绪类别的情绪特征；

基于所述文字特征序列和所述情绪特征，生成所述人脸动作参数。

8.根据权利要求7所述的方法，其特征在于，所述人脸动作参数包括表情参数和头部姿态参数；所述基于所述文字特征序列和所述情绪特征，生成所述人脸动作参数的步骤，包括：

将所述文字特征序列和所述情绪特征输入至预先训练完成的第二参数输出网络中，输出所述表情参数；

将所述文字特征序列和所述情绪特征输入至预先训练完成的第三参数输出网络中，输出所述头部姿态参数。

9.根据权利要求1所述的方法，其特征在于，基于所述人脸动作参数和包含目标人物的第一视频，生成目标视频的步骤，包括：

从所述第一视频中提取所述目标人物的第一特定动作参数；所述第一特定动作参数用于指示所述目标人物在说话时的脸部动作；

基于所述第一特定动作参数和所述人脸动作参数生成目标视频。

10.根据权利要求9所述的方法，其特征在于，基于所述第一特定动作参数和所述人脸动作参数生成目标视频的步骤，包括：

将所述人脸动作参数映射至所述第一特定动作参数中，得到第二特定动作参数；所述第二特定动作参数用于指示所述目标人物在说所述目标语音时的脸部动作；

基于所述第二特定动作参数生成目标视频。