[发明专利]歌曲生成方法和装置

说明书

本公开涉及音频数据处理技术领域。本公开的实施例公开了歌曲生成方法和装置。该方法包括：从第一语种的歌曲音频中提取出第一伴奏信号、第一语种的歌词以及第一歌声信号；将第一语种的歌词翻译为第二语种的歌词；将第一伴奏信号和第二语种的歌词输入已训练的伴奏生成模型，得到第二伴奏信号；将第一歌声信号和第二语种的歌词输入已训练的歌声生成模型，生成第二歌声信号；将第二伴奏信号和第二歌声信号合成为第二语种的歌曲音频。该方法实现了不同语种歌曲的自动生成，降低了多语种歌曲的制作成本。

技术领域

本公开的实施例涉及计算机技术领域，具体涉及音频数据处理技术领域，尤其涉及歌曲生成方法和装置。

背景技术

歌曲是将人声与音乐相结合形成的有声产品。歌曲的制作方法一般是录制歌唱者的歌声，然后将歌声与伴奏合成。

针对已有的歌曲，将歌词翻译为其他语言版本可以提高歌曲的流传度，丰富音乐作品的形式。目前的不同语言版本的歌曲制作方法需要歌唱者使用其他语种的语言对原重新演唱。这种方式成本较高，不利于不同语言版本的歌曲的批量生成。

发明内容

本公开的实施例提出了歌曲生成方法和装置、电子设备和计算机可读介质。

第一方面，本公开的实施例提供了一种歌曲生成方法，包括：从第一语种的歌曲音频中提取出第一伴奏信号、第一语种的歌词以及第一歌声信号；将第一语种的歌词翻译为第二语种的歌词；将第一伴奏信号和第二语种的歌词输入已训练的伴奏生成模型，得到第二伴奏信号；将第一歌声信号和第二语种的歌词输入已训练的歌声生成模型，生成第二歌声信号；将第二伴奏信号和第二歌声信号合成为第二语种的歌曲音频。

在一些实施例中，上述方法还包括：基于第一样本歌曲音频集合训练伴奏生成模型，包括：获取第一样本歌曲音频集合中的第一样本歌曲音频的对应语种的歌词；从第一样本歌曲音频中提取伴奏信号，将第一样本歌曲音频的伴奏信号和第一样本歌曲的对应语种的歌词输入待训练的伴奏生成模型，得到第一样本歌曲音频的伴奏信号的预测结果；基于待训练的伴奏生成模型对第一样本歌曲音频的伴奏信号的预测结果与从对应的第一样本歌曲音频中提取出的伴奏信号之间的差异迭代调整伴奏生成模型的参数。

在一些实施例中，上述伴奏生成模型包括第一音乐编码器、第一文本编码器、第一频谱解码器以及第一声码器；第一音乐编码器对输入伴奏生成模型的伴奏信号进行编码；第一文本编码器对输入伴奏生成模型的歌词进行文本编码；第一频谱解码器基于第一音乐编码器和第一文本编码器的编码结果进行解码，得到对应的频谱信号；第一声码器基于第一频谱解码器解码得到的频谱信号生成歌曲的伴奏信号。

在一些实施例中，上述方法还包括：基于第二样本歌曲音频集合训练歌声生成模型，其中，歌声生成模型包括说话人声纹编码器以及歌声生成子模型；基于第二样本歌曲音频集合训练歌声生成模型，包括：基于说话人声纹识别任务对说话人声纹编码器进行训练；获取第二样本歌曲音频集合中的第二样本歌曲音频的对应语种的歌词；从第二样本歌曲音频中提取出歌声信号，利用训练完成的说话人声纹编码器从第二样本歌曲音频的歌声信号中提取出第二样本歌曲音频的说话人声纹特征；将第二样本歌曲音频的歌声信号和第二样本歌曲音频的对应语种的歌词、以及第二样本歌曲音频的说话人声纹特征输入待训练的歌声生成子模型，得到第二样本歌曲音频的歌声信号的预测结果；基于待训练的歌声生成模型对第二样本歌曲音频的歌声信号的预测结果与从对应的第二样本歌曲音频中提取出的歌声信号之间的差异迭代调整歌声生成子模型的参数。

在一些实施例中，上述歌声生成子模型包括：第二音乐编码器、第二文本编码器、第二频谱解码器以及第二声码器；第二音乐编码器对输入歌声生成子模型的歌声信号进行编码；第二文本编码器对输入歌声生成子模型的歌词进行文本编码；第二频谱解码器基于说话人声纹编码器、第二音乐编码器和第二文本编码器的编码结果进行解码，得到对应的频谱信号；第二声码器基于第二频谱解码器解码得到的频谱信号生成歌曲的歌声信号。