[发明专利]一种语音合成方法、装置、可读存储介质及计算设备

说明书

本公开实施例提供了一种语音合成方法、装置、可读存储介质及计算设备，实现使用通用中文语音即可进行语音合成。方法包括：获取用于语音合成的语音序列和文本序列；将语音序列和文本序列输入预先训练的神经网络，得到第一谱参数；根据第一谱参数合成语音。

技术领域

本公开涉及语音处理技术领域，尤其涉及一种语音合成方法、装置、可读存储介质及计算设备。

背景技术

现有的中文语音合成系统，为了训练一个高质量的语音合成模型，需要使用专业录音棚内录制的高质量语音。主要有以下几种方案：

录制单个说话人的10-20小时的高质量数据，进行人工标注，包括标注拼音、韵律、切音，然后训练模型，得到一个完善的文本到语音(Text To Speech,TTS)系统；

录制10-20个多说话人的10-20小时高质量数据，进行人工标注，包括标注拼音、韵律、切音，然后训练多说话人模型，得到一个完善的TTS系统

这两种方案，都依靠完善的录音设备以及高标准的录音环境，并且依赖精细的人工标注，某一环节出现问题，都会导致模型效果很差。如录音设备以及环境有问题，会导致生成的语音噪声很大；标注出现问题，导致模型训练不收敛，达不到验收标准。除此之外，录制高质量的语音，需要很长的时间以及大量的财力，所以使用这两种方案构造一个高质量的的TTS模型，都有一定的不足。

发明内容

为此，本公开提供了一种语音合成方法、装置、可读存储介质及计算设备，以力图解决或者至少缓解上面存在的至少一个问题。

根据本公开实施例的一个方面，提供了一种语音合成方法，包括：

获取用于语音合成的语音序列和文本序列；

将语音序列和文本序列输入预先训练的神经网络，得到第一谱参数；

根据第一谱参数合成语音。

可选地，将语音序列和文本序列输入预先训练的神经网络，得到第一谱参数，包括：

根据预先训练的神经网络，将语音序列输入说话人编码器，得到第一说话人嵌入向量，将语音序列输入残差编码器，得到第一残差嵌入向量，将文本序列输入文本编码器，得到第一文本嵌入向量，以及，将第一说话人嵌入向量、第一残差嵌入向量和第一文本嵌入向量输入解码器，得到第一谱参数。

可选地，根据第一谱参数合成语音，包括：

根据第一谱参数，采用预先训练的神经网络声码器Neural Vocoder模型合成语音。

可选地，训练神经网络，包括：

获取一一对应的训练语音序列和训练文本序列；

将训练语音序列输入说话人编码器，得到第二说话人嵌入向量；

将训练语音序列输入残差编码器，得到第二残差嵌入向量；

将训练文本序列输入文本编码器，得到第二文本嵌入向量；

将第二说话人嵌入向量、第二残差嵌入向量和第二文本嵌入向量输入解码器，得到第二谱参数。

可选地，训练神经网络，还包括：

将第二说话人嵌入向量输入说话人识别分类器进行分类。

可选地，训练神经网络，还包括：

将第二说话人嵌入向量作梯度反转处理，得到说话人信息。

可选地，训练神经网络，还包括：

将第二说话人嵌入向量输入语音背景分类器进行分类。

可选地，训练神经网络，还包括：