[发明专利]歌曲生成方法和装置

说明书

本公开涉及音频数据处理技术领域。本公开的实施例公开了歌曲生成方法和装置。该方法包括：从参考歌曲的音频中提取出参考歌声信号和伴奏信号，获取用户歌唱参考歌曲的用户歌声信号；采用已训练的歌声优化模型中的说话人声纹编码器对用户歌声信号进行编码，采用已训练的歌声优化模型中的音乐编码器对参考歌声信号和伴奏信号进行编码；基于用户歌声信号的编码、参考歌声信号的编码和伴奏信号的编码，采用已训练的歌声优化模型中的频谱解码器进行解码，得到优化后的歌曲的频谱信号；将优化后的歌曲的频谱信号转换为优化后的歌曲的音频。该方法能够差异化地优化用户演唱的不同歌曲，丰富了歌曲的生成方式。

技术领域

本公开的实施例涉及计算机技术领域，具体涉及音频处理技术领域，尤其涉及歌曲生成方法和装置。

背景技术

歌曲是将人声与音乐相结合形成的有声产品。歌曲的制作方法一般是录制歌唱者的歌声，然后将歌声与伴奏合成。

随着语音技术和人工智能的发展，歌曲的制作方式也越来越多样。目前一些音乐应用提供对用户演唱的歌曲进行优化的功能，具体实现方式是通过后台调音器对用户的声音进行滤波等处理，或者通过调整基频或音长等语音特征来平滑用户的声音。这种优化方式针对不同的歌曲采用相同的优化策略，优化方法单一，优化效果有待提升。

发明内容

本公开的实施例提出了歌曲生成方法和装置、电子设备和计算机可读介质。

第一方面，本公开的实施例提供了一种歌曲生成方法，包括：从参考歌曲的音频中提取出参考歌声信号和伴奏信号，获取用户歌唱参考歌曲的用户歌声信号；采用已训练的歌声优化模型中的说话人声纹编码器对用户歌声信号进行编码，采用已训练的歌声优化模型中的音乐编码器对参考歌声信号和伴奏信号进行编码；基于用户歌声信号的编码、参考歌声信号的编码和伴奏信号的编码，采用已训练的歌声优化模型中的频谱解码器进行解码，得到优化后的歌曲的频谱信号；将优化后的歌曲的频谱信号转换为优化后的歌曲的音频。

在一些实施例中，上述基于用户歌声信号的编码、参考歌声信号的编码和伴奏信号的编码，采用已训练的歌声优化模型中的频谱解码器进行解码，包括：将用户歌声信号的编码与参考歌声信号的编码拼接形成歌声编码，采用已训练的歌声优化模型中的频谱解码器对歌声编码和伴奏信号的编码进行解码。

在一些实施例中，上述方法还包括训练歌声优化模型的步骤，包括：基于说话人声纹识别任务训练说话人声纹编码器；基于已训练完成的说话人声纹编码器对歌声优化模型中的音乐编码器和频谱解码器进行训练。

在一些实施例中，上述歌声优化模型还包括声码器；基于已训练完成的说话人声纹编码器对歌声优化模型中的音乐编码器和频谱解码器进行训练，包括：获取样本参考歌曲的音频，从样本参考歌曲的音频中提取出样本参考歌声信号和样本伴奏信号；采用待训练的音乐编码器对样本参考歌声信号和样本伴奏信号进行编码；采用已训练完成的说话人声纹编码器对样本参考歌声信号进行声纹特征编码；将样本参考歌声信号的声纹特征编码与样本参考歌声信号的编码拼接，得到样本参考歌声的编码；采用待训练的频谱解码器对样本参考歌声的编码和样本伴奏信号的编码进行解码，得到样本参考歌曲的频谱信号；采用声码器对样本参考歌曲的频谱信号进行转换，得到待训练的歌声优化模型对样本参考歌曲的音频的优化结果；基于待训练的歌声优化模型对样本参考歌曲的音频的优化结果与对应的样本参考歌曲的音频之间的差异，迭代调整待训练的音乐编码器、待训练的频谱解码器的参数。

在一些实施例中，上述频谱解码器至少包括依次连接的三个注意力解码单元，三个注意力解码单元分别将频谱解码器对优化后的歌曲的频谱信号的预测结果、音乐编码模块对参考歌声信号的编码和音乐编码模块对伴奏信号的编码接入频谱解码器进行解码。