[发明专利]基于迁移学习的歌声合成方法、装置及存储介质

说明书

本发明涉及语言信号处理领域，本发明提出一种基于迁移学习的歌声合成方法、装置及存储介质，其中的方法包括：基于语音数据库获取读模型训练数据；基于读模型训练数据训练读模型，读模型输出与语音特征及语音标签数据对应的声音声学特征；获取唱模型训练数据，基于唱模型训练数据创建唱模型；将待合成歌声的歌词输入读模型，生成与歌词对应的目标声音声学参数，同时将待合成的乐谱特征和读模型输出的与歌词对应的声音声学参数输入唱模型，输出目标歌声声学参数；通过声码器将目标歌声声学参数转换为歌声输出。本发明通过将歌声合成分为读与唱两个步骤，能够在有限的歌声数据下，学习出更好的歌声合成效果。

技术领域

本发明涉及语言信号处理技术领域，尤其涉及一种基于迁移学习的歌声合成方法、装置及计算机可读存储介质。

背景技术

歌声合成是提供乐谱与歌词，机器自动合成出拟人的歌声的过程。传统的歌声合成与语音合成非常类似，不同的是歌声合成引入了乐谱信息，其合成的声音不仅与歌词相关，而且与乐谱也有着很大的联系。主流的歌声合成算法都是从语音合成算法中移植过来的，乐谱信息也只是作为数据特征的一部分融入到算法训练与合成过程中。但是，与语音合成相比较，歌声合成引入的乐谱信息增加了数据的复杂度，而且歌声的发音规律也是更加的复杂多变，这些因素都增加了歌声合成的难度。

常规的，我们可以通过录音更多的歌声数据，使用更复杂的声学模型，来达到比较好的合成效果。然而，录音的歌声数据需要耗费人力、财力，使用更复杂的声学模型也会加长训练时长、提升训练难度。

可知，现有的歌声合成方法，不仅需要大量的歌声数据，而且合成效果差，准确度低。

发明内容

本发明提供一种基于迁移学习的歌声合成方法、电子装置及计算机可读存储介质，其主要目的在于通过有限的歌声数据，合成出效果更好的歌声。

为实现上述目的，本发明提供一种基于迁移学习的歌声合成方法，应用于电子装置，所述方法包括：

基于语音数据库获取读模型训练数据，所述读模型训练数据包括语音特征及对应的语音标签数据；

基于所述读模型训练数据训练读模型，所述读模型输出与所述语音特征及语音标签数据对应的声音声学特征；

获取唱模型训练数据，所述唱模型训练数据包括从乐谱中提取出来的乐谱特征、从与所述乐谱对应的歌声数据中提取的样本歌声声学参数，以及从读模型中输出的样本声音声学参数；

基于唱模型训练数据创建唱模型；

将待合成歌声的歌词输入所述读模型，生成与所述歌词对应的目标声音声学参数，同时将待合成的乐谱特征和读模型输出的与所述歌词对应的目标声音声学参数输入所述唱模型，输出目标歌声声学参数；

通过声码器将所述目标歌声声学参数转换为歌声输出。

此外，优选地，所述语音数据库中的语音数据包括由录制的人声数据组成的语音录音数据以及与所述语音录音数据对应的语音标签数据；

所述语音特征为从与所述语音录音数据对应的每段录制声音中提取出的基频特征与梅尔倒谱系数；

所述语音标签数据包括与所述语音录音数据对应的每段录制声音的音节信息。

此外，优选地，所述读模型和/或所述唱模型采用因果卷积网络、长短期记忆神经网络或双向循环神经网络。

此外，优选地，当所述读模型采用因果卷积网络时：

所述因果卷积网络包括10个隐含层，各隐含层的扩张系数分别为：1、2、4、8、16、32、64、128、256、512，状态通道数为32；在相邻的两隐含层之间了连接有一个残差层，所述残差层的状态通道数为32；