[发明专利]歌曲生成方法和装置

权利要求书

1.一种歌曲生成方法，包括：

从参考歌曲的音频中提取出参考歌声信号和伴奏信号，获取用户歌唱所述参考歌曲的用户歌声信号；

采用已训练的歌声优化模型中的说话人声纹编码器对所述用户歌声信号进行编码，采用所述已训练的歌声优化模型中的音乐编码器对所述参考歌声信号和所述伴奏信号进行编码；

通过连接操作将所述用户歌声信号的编码与所述参考歌声信号的编码拼接形成歌声编码，采用所述已训练的歌声优化模型中的频谱解码器对所述歌声编码和所述伴奏信号的编码进行解码，得到优化后的歌曲的频谱信号；

将所述优化后的歌曲的频谱信号转换为优化后的歌曲的音频。

2.根据权利要求1所述的方法，其中，所述方法还包括训练歌声优化模型的步骤，包括：

基于说话人声纹识别任务训练所述说话人声纹编码器；

基于已训练完成的说话人声纹编码器对所述歌声优化模型中的音乐编码器和频谱解码器进行训练。

3.根据权利要求2所述的方法，其中，所述歌声优化模型还包括声码器；

所述基于已训练完成的说话人声纹编码器对所述歌声优化模型中的音乐编码器和频谱解码器进行训练，包括：

获取样本参考歌曲的音频，从所述样本参考歌曲的音频中提取出样本参考歌声信号和样本伴奏信号；

采用待训练的音乐编码器对所述样本参考歌声信号和样本伴奏信号进行编码；

采用已训练完成的所述说话人声纹编码器对所述样本参考歌声信号进行声纹特征编码；

将所述样本参考歌声信号的声纹特征编码与所述样本参考歌声信号的编码拼接，得到样本参考歌声的编码；

采用待训练的频谱解码器对所述样本参考歌声的编码和所述样本伴奏信号的编码进行解码，得到样本参考歌曲的频谱信号；

采用所述声码器对所述样本参考歌曲的频谱信号进行转换，得到待训练的歌声优化模型对所述样本参考歌曲的音频的优化结果；

基于所述待训练的歌声优化模型对所述样本参考歌曲的音频的优化结果与对应的样本参考歌曲的音频之间的差异，迭代调整待训练的音乐编码器、待训练的频谱解码器的参数。

4.根据权利要求1-3任一项所述的方法，其中，所述频谱解码器至少包括依次连接的三个注意力解码单元，所述三个注意力解码单元分别将所述频谱解码器对优化后的歌曲的频谱信号的预测结果、所述音乐编码模块对所述参考歌声信号的编码和所述音乐编码模块对所述伴奏信号的编码接入所述频谱解码器进行解码。

5.一种歌曲生成装置，包括：

获取单元，被配置为从参考歌曲的音频中提取出参考歌声信号和伴奏信号，获取用户歌唱所述参考歌曲的用户歌声信号；

编码单元，被配置为采用已训练的歌声优化模型中的说话人声纹编码器对所述用户歌声信号进行编码，采用所述已训练的歌声优化模型中的音乐编码器对所述参考歌声信号和所述伴奏信号进行编码；

解码单元，被配置为通过连接操作将所述用户歌声信号的编码与所述参考歌声信号的编码拼接形成歌声编码，采用所述已训练的歌声优化模型中的频谱解码器对所述歌声编码和所述伴奏信号的编码进行解码，得到优化后的歌曲的频谱信号；

转换单元，被配置为将所述优化后的歌曲的频谱信号转换为优化后的歌曲的音频。

6.根据权利要求5所述的装置，其中，所述装置还包括训练单元，被配置为按照如下方式训练歌声优化模型：

基于说话人声纹识别任务训练所述说话人声纹编码器；

基于已训练完成的说话人声纹编码器对所述歌声优化模型中的音乐编码器和频谱解码器进行训练。