[发明专利]一种合成语音的方法、装置、终端及存储介质

说明书

本申请适用于语音合成技术领域，提供了一种合成语音的方法、装置、终端及存储介质。该方法包括：获取文本信息；将文本信息输入到已训练的频谱生成模型中进行处理，得到文本信息对应的梅尔谱图，频谱生成模型为无需蒸馏的非自回归式的模型，频谱生成模型包括编码器、长度预测网络以及解码器，该解码器的训练过程和实际使用过程是逆运算的过程；基于该梅尔谱图，生成该文本信息对应的语音信息。上述方案中，由于该生成模型为无需蒸馏的非自回归式的模型，提升了该频谱生成模型生成梅尔谱图的速率，进而提升了语音合成的速度。且基于该频谱生成模型可准确、快速地提取文本信息对应的梅尔谱图，进而使得基于该梅尔谱图生成的语音质量高。

技术领域

本申请属于语音合成技术领域，尤其涉及一种合成语音的方法、装置、终端及存储介质。

背景技术

随着深度学习的发展，目前端到端的语音合成技术已经可以产生高质量的语音。相比较参数语音合成与拼接语音合成这两种传统的语音合成方法，端到端的语音合成方法不需要对语音进行复杂的建模，同时可以产生更加自然的语音。

然而，现有的端到端的语音合成模型通常分为自回归式的模型和非自回归式的模型。其中，自回归式的模型是指模型的输出是一步一步的输出，即每一步的输出会依赖于之前的输出。因此，该模型无论是在训练过程中，还是实际使用过程中，都非常耗时，合成语音的效率低。非自回归式的模型是指模型的输出属于全并行的输出，这种模型虽然合成语音的速度快，但是由于该模型需要蒸馏，导致该模型最终合成的语音质量很低。

因此，急需一种无论是在训练过程中，还是实际使用过程中都耗时少、合成语音的效率高，且合成的语音质量高的端到端的语音合成模型。

发明内容

有鉴于此，本申请实施例提供了一种合成语音的方法、装置、终端及存储介质，实现了无论是在训练过程中，还是实际使用过程中都耗时少，且合成语音的效率高、合成的语音质量高。

本申请实施例的第一方面提供了一种合成语音的方法，该方法包括：

获取文本信息；

将所述文本信息输入到已训练的频谱生成模型中进行处理，得到所述文本信息对应的梅尔谱图，所述频谱生成模型为无需蒸馏的非自回归式的模型，所述频谱生成模型包括编码器、长度预测网络以及解码器，其中，所述解码器的训练过程和实际使用过程是逆运算的过程；

基于所述梅尔谱图，生成所述文本信息对应的语音信息。

可选地，所述解码器包括依次连接的正太分布函数层、split层、coupling block层、affine xform层、invertible linear层、reshape层。

可选地，所述将所述文本信息输入到已训练的频谱生成模型中进行处理，得到所述文本信息对应的梅尔谱图，包括：

通过所述编码器对所述文本信息进行编码，得到所述文本信息对应的文本向量；

通过所述长度预测网络对所述文本向量进行预测，得到所述文本向量对应的语音的频谱长度；

将所述文本向量以及所述频谱长度输入所述解码器进行解码处理，得到所述梅尔谱图。

可选地，所述将所述文本向量以及所述频谱长度输入所述解码器进行解码处理，得到所述梅尔谱图，包括：

通过所述正太分布函数层对所述频谱长度进行处理，得到正太分布的第一特征向量；

将所述第一特征向量输入所述split层进行处理，得到第二特征向量；

基于所述coupling block层、所述affine xform层以及所述invertible linear层，对所述文本向量以及所述第二特征向量进行可逆变换，得到第三特征向量；