[发明专利]语音合成模型训练方法、语音合成方法和装置

权利要求书

1.一种语音合成模型训练方法，包括：

从音频库中提取音频文件的声学特征、音频波形点；

对所述音频文件的所述音频波形点、所述音频文件上采样后的所述声学特征分别进行编码，并对编码后的所述音频文件的所述音频波形点、所述音频文件上采样后的所述声学特征进行拼接，得到拼接特征；

将所述拼接特征输入到预设神经网络中进行训练；

在训练过程中对所述预设神经网络中的网络参数进行迭代更新，在迭代终止后得到语音合成模型。

2.根据权利要求1所述的方法，其中，所述从音频库中提取音频文件的声学特征、音频波形点，包括：

从音频库包括的所述音频文件中提取梅尔幅度谱系数作为所述音频文件的声学特征，其中，所述音频库中包括至少两个发音人的所述音频文件；

去除所述音频文件的头信息，采用固定采样率获取所述音频波形点。

3.根据权利要求1所述的方法，其中，所述对所述音频文件的所述音频波形点、所述音频文件上采样后的所述声学特征分别进行编码，并对编码后的所述音频文件的所述音频波形点、所述音频文件上采样后的所述声学特征进行拼接，得到拼接特征，包括：

将所述音频文件上采样后的所述声学特征输入到第一预设编码层，得到第一编码，其中，所述音频文件上采样后的所述声学特征的长度与所述音频波形点的长度相等；

对所述音频波形点进行非均匀编码，得到第二编码；

将所述第二编码输入到第二预设编码层，得到第三编码；

将所述第一编码和所述第三编码进行拼接，得到所述拼接特征。

4.根据权利要求1所述的方法，其中，在所述对所述音频文件的所述音频波形点、所述音频文件上采样后的所述声学特征分别进行编码之前，还包括：

将所述声学特征输入到上采样网络，以对所述声学特征进行上采样，其中，所述上采样网络包括一维卷积层，其中，在所述一维卷积层的层数大于2时，所述一维卷积层间设有残差连接模块。

5.根据权利要求1所述的方法，其中，所述预设神经网络包括稀疏化的神经子网络，采用门控循环神经网络的网络结构，所述预设神经网络还包括循环神经子网络，所述循环神经子网络采用门控循环神经网络的网络结构，其中，所述循环神经子网络中的神经元个数少于稀疏化的神经子网络中的神经元个数。

6.根据权利要求1-5任一项所述的方法，其中，所述在训练过程中对所述预设神经网络结构中的网络参数进行迭代更新，得到语音合成模型，包括：

采用交叉熵损失函数，根据所述预设神经网络训练时每次输出的目标输出值，以及编码后的音频波形点计算得到交叉熵损失；

在每次得到所述交叉熵损失后进行梯度回传，对所述预设神经网络结构中的网络参数进行迭代更新，在达到最大迭代训练步数或者网络参数的变化值均小于预设阈值时，迭代终止，得到所述语音合成模型。

7.一种语音合成方法，包括：

获取目标声学特征；

将所述目标声学特征输入到语音合成模型中，得到目标语音编码，其中，所述语音合成模型是采用权利要求1-6任一项所述语音合成模型训练方法得到的；

对所述目标语音编码进行解码，得到合成音频。

8.根据权利要求7所述的方法，其中，所述方法还包括：

以所述语音合成模型输出的值作为分布，并从所述分布中进行多项分布采样后得到目标语音编码。

9.根据权利要求7所述的方法，其中，所述对所述目标语音编码进行解码，得到合成音频，包括：

获取单指令多数据流目标指令；

根据所述单指令多数据流目标指令同步获取解码计算过程中的目标操作数；

根据所述目标操作数对所述目标语音编码进行解码，得到所述合成音频。