[发明专利]视频配音方法和装置、存储介质和电子设备

权利要求书

1.一种视频配音方法，其特征在于，所述方法包括：

将待配音视频输入场景分割模型，所述场景分割模型用于，输出用于分割所述待配音视频的不同视频场景的分割点，以根据所述分割点将所述待配音视频拆分为多个子视频，以及还用于，输出用于表征每个子视频的视频背景或视频剧情的场景标签；

将待配音的每一所述子视频的待配音文案和场景标签输入风格预测模型，并获取所述风格预测模型输出的表征所述子视频的视频风格的风格标签；

基于所述子视频对应的所述风格标签和所述待配音文案，生成所述子视频的配音音频，并根据每一所述子视频的配音音频得到所述待配音视频的配音音频；

其中，所述场景分割模型是通过如下步骤训练：

将样本视频输入待训练的场景分割模型，获取所述场景分割模型输出的用于分割所述样本视频的不同视频场景的分割点，并基于样本视频的样本标注分割点和所述场景分割模型输出的分割点，更新所述场景分割模型中的参数。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

从待配音的所述子视频中识别字幕内容，并将该字幕内容作为所述子视频的待配音文案。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取所述待配音视频的文案内容；

获取每一所述子视频的时间信息；

基于每一所述子视频的所述时间信息，从所述文案内容中确定每一所述子视频对应的待配音文案。

4.根据权利要求2所述的方法，其特征在于，所述方法还包括：

确定各字幕内容对应的视频长度；

所述基于所述子视频对应的所述风格标签和所述待配音文案，生成所述子视频的配音音频，包括：

基于所述子视频的字幕内容对应的视频长度，和所述子视频的所述待配音文案的文字长度确定配音速度；

基于所述风格标签和所述待配音文案，以所述配音速度生成所述子视频的配音音频。

5.根据权利要求3所述的方法，其特征在于，所述方法还包括：

对所述文案内容进行分句，得到多个文案子句；

基于待配音的所述子视频的时间信息，确定各文案子句在该子视频中的时间轴信息；

基于各文案子句的时间轴信息，为待配音的所述子视频添加与该文案子句对应的文字字幕和与该文案子句对应的配音音频。

6.根据权利要求1所述的方法，其特征在于，所述风格预测模型的训练步骤如下：

将样本文本输入待训练的风格预测模型，并获取所述风格预测模型输出的风格标签，并基于样本文本的样本标注风格标签、所述风格预测模型输出的风格标签以及第二损失函数调整所述风格预测模型中的参数。

7.一种视频配音装置，其特征在于，所述装置包括：

场景确定模块，用于将待配音视频输入场景分割模型，所述场景分割模型用于，输出用于分割所述待配音视频的不同视频场景的分割点，以根据所述分割点将所述待配音视频拆分为多个子视频，以及还用于，输出用于表征每个子视频的视频背景或视频剧情的场景标签；

风格确定模块，用于将待配音的每一所述子视频的待配音文案和场景标签输入风格预测模型，并获取所述风格预测模型输出的表征所述子视频的视频风格的风格标签；

配音生成模块，用于基于所述子视频对应的所述风格标签和所述待配音文案，生成所述子视频的配音音频，并根据每一所述子视频的配音音频得到所述待配音视频的配音音频；

其中，所述场景分割模型是通过如下步骤训练：

将样本视频输入待训练的场景分割模型，获取所述场景分割模型输出的用于分割所述样本视频的不同视频场景的分割点，并基于样本视频的样本标注分割点和所述场景分割模型输出的分割点，更新所述场景分割模型中的参数。

8.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理装置执行时实现权利要求1-6中任一项所述方法的步骤。

9.一种电子设备，其特征在于，包括：

存储装置，其上存储有计算机程序；

处理装置，用于执行所述存储装置中的所述计算机程序，以实现权利要求1-6中任一项所述方法的步骤。