[发明专利]基于韵律的语音合成方法、模型训练方法及相关设备

权利要求书

1.一种基于韵律的语音合成方法，其特征在于，包括：

对待合成文本进行预处理，获得分词文本；

根据所述分词文本，通过一韵律模型获得包含韵律信息的韵律文本；

将所述韵律文本转换成包含韵律特征的向量；

根据所述包含韵律特征的向量，通过一声学模型获得梅尔谱特征；以及

根据所述梅尔谱特征，合成目标音频。

2.如权利要求1所述的语音合成方法，其特征在于，所述韵律模型包括依次相连的嵌入层、多层双向长短期记忆网络和全连接层。

3.如权利要求2所述的语音合成方法，其特征在于，所述通过一韵律模型获得包含韵律信息的韵律文本，包括：

将所述分词文本输入所述韵律模型，依次经所述嵌入层、多层所述双向长短期记忆网络及所述全连接层处理后，生成包含韵律信息的韵律文本，所述韵律信息用于标识所述韵律文本中每个韵律短语的停顿时间。

4.如权利要求1所述的语音合成方法，其特征在于，所述将所述韵律文本转换成包含韵律特征的向量，包括：

将所述韵律文本转换成包含音节、声调和所述韵律信息的拼音序列；

将所述拼音序列转换成数字序列；以及

将所述数字序列转换成包含韵律特征的向量，所述韵律特征对应所述韵律信息。

5.如权利要求1所述的语音合成方法，其特征在于，所述声学模型包括编码器和解码器，所述编码器包括依次相连的多层卷积神经网络和多层双向长短期记忆网络，所述解码器包括依次相连的多层双向长短期记忆网络和线性层，且所述编码器的最后层双向长短期记忆网络与所述解码器的第一层双向长短期记忆网络相连。

6.如权利要求5所述的语音合成方法，其特征在于，所述通过一声学模型获得梅尔谱特征，包括：

将所述包含韵律特征的向量输入所述声学模型，依次经所述编码器的多层所述卷积神经网络和多层所述双向长短期记忆网络、以及所述解码器的多层所述双向长短期记忆网络和所述线性层处理后，生成预设维度的梅尔谱特征。

7.如权利要求1所述的语音合成方法，其特征在于，所述合成目标音频，包括：

将所述梅尔谱特征输入一声码器，获得所述目标音频。

8.如权利要求1所述的语音合成方法，其特征在于，所述对待合成文本进行预处理，包括：

对所述待合成文本进行正则化处理；

将正则化处理后的所述待合成文本调整为统一格式的文本；以及

对所述统一格式的文本进行分词。

9.一种模型训练方法，其特征在于，包括：

获得第一样本文本及所述第一样本文本对应的目标韵律文本；

至少基于双向长短期记忆网络构建一韵律模型；以及

以所述第一样本文本为输入，以所述目标韵律文本为输出，训练所述韵律模型，至所述韵律模型收敛。

10.如权利要求9所述的模型训练方法，其特征在于，所述至少基于双向长短期记忆网络构建一韵律模型，包括：

构建依次相连的嵌入层、多层双向卷积神经网络及全连接层，形成所述韵律模型；

其中，所述嵌入层用于输入所述第一样本文本，所述全连接层用于输出所述目标韵律文本。

11.一种模型训练方法，其特征在于，包括：

获得第二样本文本及所述第二样本文本对应的真实梅尔谱特征和目标梅尔谱特征；

至少基于卷积神经网络和双向长短期记忆网络构建一声学模型；以及

以所述第二样本文本和所述真实梅尔谱特征为输入，以所述目标梅尔谱特征为输出，训练所述声学模型，至所述声学模型收敛。