[发明专利]语音合成模型生成方法及其装置、设备、介质、产品

权利要求书

1.一种语音合成模型生成方法，其特征在于，包括：

调用控制器，由控制器生成声码器的结构编码；

根据结构编码构造声码器，该声码器包括根据结构编码生成的条件网络和自回归网络；

采用训练集将所述声码器迭代训练至收敛状态，根据该声码器在测试集上获得的性能评分，在控制器未达至收敛之前对控制器实施梯度更新并迭代生成新的声码器；

在控制器达至收敛后，根据性能评分选出声码器作为语音合成模型。

2.根据权利要求1所述的语音合成模型生成方法，其特征在于，所述根据结构编码构造声码器，包括：

根据结构编码中第一编码信息构造声码器的条件网络中的上采样网络，所述第一编码信息包括与上采样网络的多个卷积层相对应的层类型和其对应的通道数；

根据结构编码中第二编码信息构造声码器的自回归网络中的门控循环单元，所述第二编码信息包括与门控循环单元的结构节点相对应的运算类型和其对应的激活类型；

根据预设拓扑结构将条件网络和自回归网络构造为声码器。

3.根据权利要求1所述的语音合成模型生成方法，其特征在于，采用训练集将所述声码器迭代训练至收敛状态，包括：

调用训练集中的单个训练样本，获取其中的预定时长的多个连续语音帧构造为语音帧序列，提取该语音序列相对应的声学特征；

将所述声学特征输入声码器的条件网络中，经其中的残差网络获取该声学特征的全局特征信息，经其中的上采样网络获取该声学特征在多个尺度下的局部特征信息，获得由全局特征信息和局部特征信息构成的综合特征信息；

经声码器中的自回归网络的门控循环单元从所述综合特征信息中提取出语音帧序列中的风格相对稳定特征，获得预测特征信息；

经声码器中的分类网络根据所述预测特征信息生成语音帧序列的后续语音帧；

采用所述训练样本中语音帧序列的时序连续在后的语音帧计算所述后续语音帧的损失值，根据该损失值控制所述声码器的迭代训练。

4.根据权利要求1所述的语音合成模型生成方法，其特征在于，根据该声码器在测试集上获得的性能评分，在控制器未达至收敛之前对控制器实施梯度更新并迭代生成新的声码器，包括：

采用测试集中的测试样本对声码器实施测试，获得性能评分，该性能评分包括基于所述测试样本被声码器处理后获得的质量评分；

根据该性能评分对控制器实施策略梯度优化，在控制器未达至收敛状态下继续迭代调用控制器以生成新的声码器。

5.根据权利要求1所述的语音合成模型生成方法，其特征在于，所述在控制器达至收敛后，根据性能评分选出声码器作为语音合成模型的步骤之后，包括：

将所述语音合成模型训练至收敛状态；

将所述语音合成模型配置为将根据语音流生成的后续语音帧平滑接入所述语音流。

6.根据权利要求5所述的语音合成模型生成方法，其特征在于，所述将所述语音合成模型训练至收敛状态，包括：

采用数据集中的第一类训练样本对语音合成模型实施第一阶段训练，将语音合成模型训练至收敛状态，第一阶段训练中根据预设权重稀疏化目标实施训练；

采用数据集中的第二类训练样本对语音合成模型实施第二阶段训练，将语音合成模型训练至收敛状态；

固化所述语音合成模型的条件网络的权重，采用数据集中的第二类训练样本对语音合成模型实施第三阶段训练，将语音合成模型训练至收敛状态，以调节语音合成模型中自回归网络的权重；

其中，所述训练样本为音频数据，包含多个时序连续的语音帧，时序连续在后的语音帧用于计算其时序连续在先的语音帧由语音合成模型对应生成的后续语音帧的损失值，第二类训练样本为纯人声片段相对应的音频数据。