[发明专利]语音合成方法、装置、设备及存储介质

权利要求书

1.一种语音合成方法，其特征在于，包括：

将待合成文本输入到语音合成系统中，所述语音合成系统包括图编码器、线性层、随机时长预测器、标准化流模块和解码器，所述语音合成系统通过样本文本、所述样本文本对应的线性频谱、所述样本文本对应的语音标签进行训练得到；

基于所述图编码器，根据所述待合成文本，获取所述待合成文本对应的韵律向量信息；

基于所述线性层，根据所述待合成文本对应的韵律向量信息，获取先验分布的均值和方差；

基于随机时长预测器，将所述待合成文本对应的韵律向量信息和预设噪声，获取因素时长对数，并对所述先验分布的均值和方差、所述因素时长的对数进行对齐，获取因素时长；

基于标准化流模块，根据所述因素时长，获取中间向量信息；

基于所述解码器，根据所述中间向量信息，获取合成语音。

2.根据权利要求1所述的语音合成方法，其特征在于，所述基于所述图编码器，根据所述待合成文本，获取所述待合成文本对应的韵律向量信息，包括：

将所述待合成文本转换为图嵌入向量信息，所述图嵌入向量信息包括多个节点向量和多个边向量；

对多个边向量进行筛选，获取相对应两个节点向量之间的目标边向量，对所述目标边向量进行编码，获取所述待合成文本对应的韵律向量信息，所述目标边向量表示对应两个节点向量的韵律关系。

3.根据权利要求2所述的语音合成方法，其特征在于，所述将所述待合成文本转换为图嵌入向量信息，包括：

将所述待合成文本拆分为各个字词，并获得各个字词之间的顺序关系；

对各个字词和各个字词之间的顺序关系进行映射转换，得到所述图嵌入向量信息。

4.根据权利要求1所述的语音合成方法，其特征在于，所述语音合成系统在训练过程中还包括后验编码器和鉴别器，所述语音合成系统通过样本文本、所述样本文本对应的线性频谱、所述样本文本对应的语音标签进行训练得到，包括：

将所述线性频谱输入到后验编码器中，获取隐变量；

将所述隐变量输入到所述标准化流模块中，获取所述样本文本对应的因素时长和第二中间向量信息；

将所述第二中间向量信息输入到所述解码器中，获取所述样本文本对应的预测语音；

将所述样本文本输入到所述图编码器中，获取所述样本文本对应的韵律向量信息；

将所述样本文本对应的韵律向量信息输入到所述线性层中，得到所述样本文本对应的均值和方差；

对所述样本文本对应的因素时长、所述样本文本对应的均值和方差进行对齐，并将对齐结果输入到所述随机时长预测器中，得到预测噪声；

根据所述图编码器、所述预测噪声、所述鉴别器和所述解码器进行对抗训练的最小二乘损失函数，结合预设损失函数，计算出训练损失；

将所述预测语音和所述语音标签输入到所述鉴别器中，若所述鉴别器判断所述预测语音与所述语音标签之间的差异在预设误差范围之内，且所述训练损失也在预设损失范围之内，则结束训练。

5.根据权利要求4所述的语音合成方法，其特征在于，还包括：

若所述鉴别器判断所述预测语音与所述语音标签之间的差异在预设误差范围之外，或，所述训练损失也在预设损失范围之外，则调整所述图编码器、所述线性层、所述随机时长预测器、所述标准化流模块和所述解码器的模型参数，重新进行训练，直到所述鉴别器判断重新训练后得到的预测语音与所述语音标签之间的差异在预设误差范围之内，且重新训练后计算出的训练损失也在预设损失范围之内。

6.根据权利要求1至5任一所述的语音合成方法，其特征在于，所述基于所述解码器，根据所述中间向量信息，获取合成语音，包括：

从所述中间向量信息中提取出语音频谱特征；

对所述语音频谱特征进行映射，获取所述合成语音。

7.根据权利要求6所述的语音合成方法，其特征在于，所述解码器具体为声码器。