[发明专利]基于旋律的歌曲信息合成方法、装置、设备及存储介质

说明书

本发明涉及人工智能技术领域，提供一种基于旋律的歌曲信息合成方法、装置、设备及存储介质，用于提高对歌曲信息合成的普适性。基于旋律的歌曲信息合成方法包括：获取包括对数幅度谱的预处理语音信息和目标旋律信息，通过目标歌唱合成模型中的编码器，分别对对数幅度谱和目标旋律轮廓进行音素编码处理，得到语音音素和旋律音素；通过目标歌唱合成模型中的跳跃连接网络，将语音音素和旋律音素传递至目标歌唱合成模型中的解码器，解码器包括转置的一维卷积核的上采样层；通过解码器，对语音音素和旋律音素依次进行合成、音素筛选和解码处理，得到目标歌曲信息。此外，本发明还涉及区块链技术，预处理语音信息和目标旋律信息可存储于区块链中。

技术领域

本发明涉及人工智能的语言信号处理领域，尤其涉及一种基于旋律的歌曲信息合成方法、装置、设备及存储介质。

背景技术

对于音乐作曲家，较为希望的是能够听到同一句歌词的多种旋律变化，以探索音频中的变化规律，因而随着计算机技术和人工智能的发展，如何将语音转换为歌唱旋律成为了一个发展和关注方向。

目前，将语音转换为歌唱旋律的方式一般为基于模型的转换方式和基于模板的转换方式。基于模型的方式为：输入语音、乐谱和手动分割音素，通过同步信息和手动设计的模型，将语音和乐谱合成并输出歌唱旋律。基于模板的转换方式：输入语音和歌唱模板，将语音和歌唱模板进行匹配，提取语音和匹配的歌唱模板的特征，根据特征估算对齐语音合成的参数，根据参数输出歌唱旋律。

但是，由于基于模型的转换方式中的手动分割音素，需要人工进行分割以及将每个音素与相应的音符关联，歌唱的输出需要音素同步信息，基于模板的转换方式中的歌唱模板对于质量的要求较大，且需要人工来创建，因而，基于模型的转换方式和基于模板的转换方式均需要额外的高质量的输入，其适用性非常受限，导致了在无额外高质量的输入的情况下，不能合成保留原语音的内容、音色和遵循了目标旋律轮廓的歌唱旋律的问题，进而导致了对歌曲信息合成的普适性较低。

发明内容

本发明提供一种基于旋律的歌曲信息合成方法、装置、设备及存储介质，用于提高对歌曲信息合成的普适性。

本发明第一方面提供了一种基于旋律的歌曲信息合成方法，包括：

获取预处理语音信息和目标旋律信息，所述预处理语音信息包括时域语音信号对应的对数幅度谱，所述目标旋律信息包括目标旋律轮廓；

通过预置的目标歌唱合成模型中的编码器，分别对所述对数幅度谱和所述目标旋律轮廓进行音素编码处理，得到语音音素和旋律音素，所述编码器包括一维卷积的下采样层和基于门控循环单元的递归层；

通过所述目标歌唱合成模型中的跳跃连接网络，将所述语音音素和所述旋律音素传递至所述目标歌唱合成模型中的解码器，其中，所述解码器中的上采样层的卷积核为转置的一维卷积核；

通过所述解码器，对所述语音音素和所述旋律音素依次进行合成、音素筛选和解码处理，得到目标歌曲信息。

可选的，在本发明第一方面的第一种实现方式中，所述获取预处理语音信息和目标旋律信息，包括：

获取时域语音信号，以及从预置数据库中匹配与所述时域语音信号对应的目标旋律轮廓，得到目标旋律信息；

对所述时域语音信号进行无声帧移除，得到候选语音信号；

对所述候选语音信号进行对数幅度谱转换，得到预处理语音信息。

可选的，在本发明第一方面的第二种实现方式中，所述对所述时域语音信号进行无声帧移除，得到候选语音信号，包括：

对所述时域语音信号进行固定量的基音偏移处理，得到初始语音信号；

对所述初始语音信号依次进行声音能量判断、无声帧标记和无声帧移除，得到候选语音信号。