[发明专利]视频生成方法、装置和电子设备

说明书

本发明提供了一种视频生成方法、装置和电子设备；其中，该方法包括：基于目标语音对应的语音文字，生成人脸动作参数；人脸动作参数用于指示人物说目标语音时的脸部动作；基于人脸动作参数和包含目标人物的第一视频，生成目标视频；其中，目标视频包括：目标人物说目标语音的视频图像。该方式中，基于目标语音对应的语音文字生成人脸动作参数，由于文字具有较高的结构化属性，且不带有语音音色这种个性化的信息，因而可以避免音色问题导致的算法模型的性能下降，从而提高了最终输出的视频图像的质量。

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种视频生成方法、装置和电子设备。

背景技术

高仿真人脸视频，主要是基于输入的语音生成高仿真人脸的说话视频；其目的是希望生成的视频图像中，人物的口型、表情、头部的运动与给定的语音相匹配，同时还能保证视频图像的清晰、逼真并且无合成痕迹。相关技术中，通常利用目标人物说话较多的视频图像训练神经网络，使神经网络建立该目标人物从语音到口型的映射；训练完成后，基于该神经网络先生成与目标语音相匹配的该目标人物的嘴部口型图像块，然后将生成的嘴部口型图像块嵌入包含目标人物的视频图像中，并对图像块与视频图像的接缝处予以处理，从而替换视频图像中该目标人物原始的口型，得到目标人物说目标语音的视频图像。由于不同人之间说话语音的音色差异较大，神经网络的训练数据很难覆盖所有人说话的语音音色，当神经网络输入的语音音色与训练数据差异较大时，会导致神经网络的性能下降，难以生成准确的嘴部口型图像块，使得最终输出的视频图像的质量较低。

发明内容

有鉴于此，本发明的目的在于提供一种视频生成方法、装置和电子设备，以避免音色问题导致的算法模型的性能下降，从而提高最终输出的视频图像的质量。

第一方面，本发明实施例提供了一种视频生成方法，方法包括：基于目标语音对应的语音文字，生成人脸动作参数；人脸动作参数用于指示人物说目标语音时的脸部动作；基于人脸动作参数和包含目标人物的第一视频，生成目标视频；其中，目标视频包括：目标人物说目标语音的视频图像。

上述人脸动作参数包括口型参数、表情参数和头部姿态参数中的一种或多种。

上述人脸动作参数包括口型参数；上述基于目标语音对应的语音文字，生成人脸动作参数的步骤，包括：生成语音文字对应的音素序列；其中，音素序列包括多个音素；语音文字中的每个文字对应至少一个音素；多个音素按照语音文字中的文字顺序排列；基于音素序列生成口型参数。

上述生成语音文字对应的音素序列的步骤，包括：生成语音文字中每个文字对应的音素；根据目标语音中的时间戳，调整每个音素的数量，得到音素序列；其中，音素序列中，每个时间戳对应一个音素。

上述基于音素序列生成口型参数的步骤，包括：从预设的音素与音素特征的对应关系中，获取音素序列中音素的音素特征；按照音素序列的音素排列顺序组合获取到的音素特征，得到音素特征序列；将音素特征序列输入至预先训练完成的第一参数输出网络中，输出口型参数。

上述人脸动作参数包括表情参数和/或头部姿态参数；上述基于目标语音对应的语音文字，生成人脸动作参数的步骤，包括：生成语音文字对应的文字序列；语音文字中的每个第一文字对应文字序列中的至少一个第二文字；第一文字对应的第二文字的数量，与第一文字在目标语音中对应的时间戳数量相匹配；从预设的文字与文字特征的对应关系中，获取文字序列中文字的文字特征；按照文字序列中的文字排列顺序组合获取到的文字特征，得到文字特征序列；基于文字特征序列生成人脸动作参数。

上述基于文字特征序列生成人脸动作参数的步骤，包括：获取目标语音对应的情绪类别；从预设的情绪类别与情绪特征的对应关系中，获取目标语音对应的情绪类别的情绪特征；基于文字特征序列和情绪特征，生成人脸动作参数。