[发明专利]视频配音生成方法、装置、设备及存储介质

权利要求书

1.一种视频配音生成方法，其特征在于，所述方法包括：

构建用户语音语料库，所述用户语音语料库包含从用户语音中提取的用户音频信号特征；

对样本视频中的样本配音进行特征提取，得到所述样本配音的样本音频信号特征；

获取所述样本音频信号特征对应的样本配音状态；根据所述样本音频信号特征和所述样本配音状态训练配音状态识别模型；

根据所述样本音频信号特征和相似语料训练配音语料识别模型，所述相似语料属于所述用户语音语料库，且所述相似语料的所述用户音频信号特征与所述样本音频信号特征的相似度大于阈值；

获取待配音视频；

将所述待配音视频对应的原始配音文本转化为目标配音文本，所述目标配音文本与所述原始配音文本属于不同语种；

对所述待配音视频的原始配音进行特征提取，得到所述原始配音的原始音频信号特征；

将所述原始音频信号特征输入配音模型，得到目标配音状态和目标配音语料，所述配音模型包括所述配音状态识别模型和所述配音语料识别模型；

根据所述目标配音文本、所述目标配音状态和所述目标配音语料生成目标配音。

2.根据权利要求1所述的方法，其特征在于，所述将所述原始音频信号特征输入配音模型，得到目标配音状态和目标配音语料，包括：

将所述原始音频信号特征输入所述配音状态识别模型，得到所述目标配音状态；

将所述原始音频信号特征输入所述配音语料识别模型，得到所述目标配音语料。

3.根据权利要求1所述的方法，其特征在于，所述对样本视频中的样本配音进行特征提取，得到所述样本配音的样本音频信号特征之前，所述方法包括：

对所述样本视频的混合音频信号进行短时傅里叶变换，得到幅度谱和相位谱，所述混合音频信号包括所述样本配音和样本背景音；

将所述幅度谱输入语音分离神经网络，得到预测幅度谱，所述语音分离神经网络包括n层循环神经网络、全连接层和时频掩膜层，所述全连接层用于将所述n层循环神经网络的输出整合为音频输出，所述时频掩膜层用于将所述音频输出的幅度归一化，n≥1，n为整数；

对所述预测幅度谱和所述相位谱进行逆短时傅里叶变换，得到所述样本配音和所述样本背景音。

4.根据权利要求1至3任一所述的方法，其特征在于，所述将所述待配音视频对应的原始配音文本转化为目标配音文本，包括：

若所述待配音视频包含字幕，则根据所述字幕生成所述原始配音文本，并将所述原始配音文本转化为所述目标配音文本；

或，

若所述待配音视频不包含字幕，则将所述待配音视频输入语音识别神经网络，得到所述原始配音文本，并将所述原始配音文本转化为所述目标配音文本。

5.根据权利要求1至3任一所述的方法，其特征在于，所述根据所述目标配音文本、所述目标配音状态和所述目标配音语料生成目标配音，包括：

根据同一配音时段下的所述目标配音文本、所述目标配音状态和所述目标配音语料生成配音片段；

对不同配音时段下的所述配音片段进行拼接，生成所述目标配音。