[发明专利]基于迁移学习的歌声合成方法、装置及存储介质

权利要求书

1.一种基于迁移学习的歌声合成方法，应用于电子装置，其特征在于，所述方法包括：

基于语音数据库获取读模型训练数据，所述读模型训练数据包括语音特征及对应的语音标签数据；

基于所述读模型训练数据训练读模型，所述读模型输出与所述语音特征及语音标签数据对应的声音声学特征；

获取唱模型训练数据，所述唱模型训练数据包括从乐谱中提取出来的乐谱特征、从与所述乐谱对应的歌声数据中提取的样本歌声声学参数，以及从读模型中输出的样本声音声学参数；

基于唱模型训练数据训练唱模型；

将待合成歌声的歌词输入所述读模型，生成与所述歌词对应的目标声音声学参数，同时将待合成的乐谱特征和读模型输出的与所述歌词对应的目标声音声学参数输入所述唱模型，输出目标歌声声学参数；

通过声码器将所述目标歌声声学参数转换为歌声输出。

2.根据权利要求1所述的基于迁移学习的歌声合成方法，其特征在于，

所述语音数据库中的语音数据包括由录制的人声数据组成的语音录音数据以及与所述语音录音数据对应的语音标签数据；

所述语音特征为从与所述语音录音数据对应的每段录制声音中提取出的基频特征与梅尔倒谱系数；

所述语音标签数据包括与所述语音录音数据对应的每段录制声音的音节信息。

3.根据权利要求1所述的基于迁移学习的歌声合成方法，其特征在于，

所述读模型和/或所述唱模型采用因果卷积网络、长短期记忆神经网络或双向循环神经网络。

4.根据权利要求3所述的基于迁移学习的歌声合成方法，其特征在于，

当所述读模型采用因果卷积网络时：

所述因果卷积网络包括10个隐含层，各隐含层的扩张系数分别为：1、2、4、8、16、32、64、128、256、512，状态通道数为32；在相邻的两隐含层之间了连接有一个残差层，所述残差层的状态通道数为32；

所述各隐含层的输出会输入至一个全连接神经网络，所述全连接神经网络包括2个隐含层，状态通道数为512，激活函数为线性整流函数；

所述因果卷积网络的输出层为全连接层，所述全连接层的激活函数为S型函数，其输出通道数根据预测输出确定。

5.根据权利要求1所述的基于迁移学习的歌声合成方法，其特征在于，

所述基于所述读模型训练数据创建读模型的步骤包括：将所述语音标签数据作为所述读模型的条件输入；

所述基于所述唱模型训练数据创建唱模型的步骤包括：将所述乐谱特征作为所述唱模型的条件输入。

6.一种电子装置，其特征在于，该电子装置包括：存储器、处理器，所述存储器中包括基于迁移学习的歌声合成程序，所述基于迁移学习的歌声合成程序被所述处理器执行时实现如下步骤：

基于语音数据库获取读模型训练数据，所述读模型训练数据包括语音特征及对应的语音标签数据；

基于所述读模型训练数据训练读模型，所述读模型输出与所述语音特征及语音标签数据对应的声音声学特征；

获取唱模型训练数据，所述唱模型训练数据包括从乐谱中提取出来的乐谱特征、从与所述乐谱对应的歌声数据中提取的样本歌声声学参数，以及从读模型中输出的样本声音声学参数；

基于唱模型训练数据创建唱模型；

将待合成歌声的歌词输入所述读模型，生成与所述歌词对应的目标声音声学参数，同时将待合成的乐谱特征和读模型输出的与所述歌词对应的目标声音声学参数输入所述唱模型，输出目标歌声声学参数；

通过声码器将所述目标歌声声学参数转换为歌声输出。

7.根据权利要求6所述的电子装置，其特征在于，

所述语音数据库中的语音数据包括由录制的人声数据组成的语音录音数据以及与所述语音录音数据对应的语音标签数据；

所述语音特征为从与所述语音录音数据对应的每段录制声音中提取出的基频特征与梅尔倒谱系数；

所述语音标签数据包括与所述语音录音数据对应的每段录制声音的音节信息。