[发明专利]一种合成语音的方法、装置、终端及存储介质

权利要求书

1.一种合成语音的方法，其特征在于，包括：

获取文本信息；

将所述文本信息输入到已训练的频谱生成模型中进行处理，得到所述文本信息对应的梅尔谱图，所述频谱生成模型为无需蒸馏的非自回归式的模型，所述频谱生成模型包括编码器、长度预测网络以及解码器，其中，所述解码器的训练过程和实际使用过程是逆运算的过程；

基于所述梅尔谱图，生成所述文本信息对应的语音信息。

2.如权利要求1所述的方法，其特征在于，所述解码器包括依次连接的正太分布函数层、split层、coupling block层、affine xform层、invertible linear层、reshape层。

3.如权利要求2所述的方法，其特征在于，所述将所述文本信息输入到已训练的频谱生成模型中进行处理，得到所述文本信息对应的梅尔谱图，包括：

通过所述编码器对所述文本信息进行编码，得到所述文本信息对应的文本向量；

通过所述长度预测网络对所述文本向量进行预测，得到所述文本向量对应的语音的频谱长度；

将所述文本向量以及所述频谱长度输入所述解码器进行解码处理，得到所述梅尔谱图。

4.如权利要求3所述的方法，其特征在于，所述将所述文本向量以及所述频谱长度输入所述解码器进行解码处理，得到所述梅尔谱图，包括：

通过所述正太分布函数层对所述频谱长度进行处理，得到正太分布的第一特征向量；

将所述第一特征向量输入所述split层进行处理，得到第二特征向量；

基于所述coupling block层、所述affine xform层以及所述invertible linear层，对所述文本向量以及所述第二特征向量进行可逆变换，得到第三特征向量；

通过所述reshape层对所述第三特征向量进行数据重组，得到所述梅尔谱图。

5.如权利要求1所述的方法，其特征在于，所述将所述文本信息输入到已训练的频谱生成模型中进行处理，得到所述文本信息对应的梅尔谱图之前，所述方法还包括：

获取样本训练集，所述样本训练集包括多个样本文本、每个样本文本对应的样本梅尔谱图以及每个样本梅尔谱图对应的样本频谱长度；

通过初始编码器对每个样本文本进行编码，得到每个样本文本对应的样本文本向量；

通过初始长度预测网络对每个样本文本向量进行预测，得到每个样本文本向量对应的语音的实际频谱长度；

将所述每个样本文本向量、所述每个样本文本向量对应的语音的实际频谱长度以及所述每个样本文本对应的样本梅尔谱图，输入到初始解码器中进行处理，得到每个样本文本对应的正太分布的样本特征向量；

根据预设的损失函数计算损失值；

当所述损失值不满足预设条件时，调整所述初始长度预测网络和/或所述初始解码器的参数，并基于所述样本训练集继续训练；

当所述损失值满足所述预设条件时，停止训练，并基于训练后的初始编码器、训练后的初始长度预测网络以及训练后的初始解码器生成所述频谱生成模型。

6.如权利要求5所述的方法，其特征在于，所述损失值包括第一损失值和第二损失值，所述第一损失值为每个样本文本向量对应的语音的实际频谱长度与每个样本文本向量对应的样本频谱长度之间的损失值，所述第二损失值基于每个样本文本对应的正太分布的样本特征向量确定。

7.如权利要求1所述的方法，其特征在于，所述基于所述梅尔谱图，生成所述文本信息对应的语音信息，包括：

将所述梅尔谱图输入到已训练的神经声码器中进行处理，得到所述语音信息。