[发明专利]歌曲生成方法和装置

权利要求书

1.一种歌曲生成方法，包括：

从第一语种的歌曲音频中提取出第一伴奏信号、第一语种的歌词以及第一歌声信号；

将所述第一语种的歌词翻译为第二语种的歌词；

将所述第一伴奏信号和所述第二语种的歌词输入已训练的伴奏生成模型，得到第二伴奏信号；

将所述第一歌声信号和所述第二语种的歌词输入已训练的歌声生成模型，生成第二歌声信号；

将所述第二伴奏信号和所述第二歌声信号合成为第二语种的歌曲音频；

其中，所述伴奏生成模型基于第一样本歌曲音频集合中的第一样本歌曲音频的对应语种的歌词和所述第一样本歌曲音频中的伴奏信号训练得到，所述伴奏生成模型包括第一音乐编码器、第一文本编码器、第一频谱解码器以及第一声码器；

所述第一频谱解码器基于所述第一音乐编码器和所述第一文本编码器的编码结果进行解码，得到对应的频谱信号；

所述第一声码器基于所述第一频谱解码器解码得到的频谱信号生成歌曲的伴奏信号。

2.根据权利要求1所述的方法，其中，所述方法还包括：基于第一样本歌曲音频集合训练伴奏生成模型，包括：

获取所述第一样本歌曲音频集合中的第一样本歌曲音频的对应语种的歌词；

从所述第一样本歌曲音频中提取伴奏信号，将所述第一样本歌曲音频的伴奏信号和所述第一样本歌曲的对应语种的歌词输入待训练的伴奏生成模型，得到所述第一样本歌曲音频的伴奏信号的预测结果；

基于所述待训练的伴奏生成模型对第一样本歌曲音频的伴奏信号的预测结果与从对应的第一样本歌曲音频中提取出的伴奏信号之间的差异迭代调整所述伴奏生成模型的参数。

3.根据权利要求1或2所述的方法，其中，所述第一音乐编码器对输入所述伴奏生成模型的伴奏信号进行编码；

所述第一文本编码器对输入所述伴奏生成模型的歌词进行文本编码。

4.根据权利要求1或2所述的方法，其中，所述方法还包括：

基于第二样本歌曲音频集合训练歌声生成模型，其中，所述歌声生成模型包括说话人声纹编码器以及歌声生成子模型；

所述基于第二样本歌曲音频集合训练歌声生成模型，包括：

基于说话人声纹识别任务对所述说话人声纹编码器进行训练；

获取所述第二样本歌曲音频集合中的第二样本歌曲音频的对应语种的歌词；

从所述第二样本歌曲音频中提取出歌声信号，利用训练完成的说话人声纹编码器从所述第二样本歌曲音频的歌声信号中提取出第二样本歌曲音频的说话人声纹特征；

将所述第二样本歌曲音频的歌声信号和所述第二样本歌曲音频的对应语种的歌词、以及所述第二样本歌曲音频的说话人声纹特征输入待训练的歌声生成子模型，得到所述第二样本歌曲音频的歌声信号的预测结果；

基于所述待训练的歌声生成模型对第二样本歌曲音频的歌声信号的预测结果与从对应的第二样本歌曲音频中提取出的歌声信号之间的差异迭代调整所述歌声生成子模型的参数。

5.根据权利要求4所述的方法，其中，所述歌声生成子模型包括：第二音乐编码器、第二文本编码器、第二频谱解码器以及第二声码器；

所述第二音乐编码器对输入所述歌声生成子模型的歌声信号进行编码；

所述第二文本编码器对输入所述歌声生成子模型的歌词进行文本编码；

所述第二频谱解码器基于所述说话人声纹编码器、所述第二音乐编码器和所述第二文本编码器的编码结果进行解码，得到对应的频谱信号；

所述第二声码器基于所述第二频谱解码器解码得到的频谱信号生成歌曲的歌声信号。