[发明专利]语音合成模型生成方法及其装置、设备、介质、产品

说明书

本申请涉及一种语音合成模型生成方法及其装置、设备、介质、产品，所述方法包括：调用控制器，由控制器生成声码器的结构编码；根据结构编码构造声码器，该声码器包括根据结构编码生成的条件网络和自回归网络；采用训练集将所述声码器迭代训练至收敛状态，根据该声码器在测试集上获得的性能评分，在控制器未达至收敛之前对控制器实施梯度更新并迭代生成新的声码器；在控制器达至收敛后，根据性能评分选出声码器作为语音合成模型。本申请借助控制器实现声码器的自动产出和择优，使所获得的语音合成模型符合移动端设备部署所需，在移动端设备部署后能获得良好的性能表现，能符合语音合成场景中对于模型小型化和高实时性所需的要求。

技术领域

本申请涉及语音通信技术领域，尤其涉及一种语音合成模型生成方法及其装置、设备、介质、产品。

背景技术

随着在线音频用户数量持续成长，用户对于网络音频内容、娱乐属性、传输质量等提出越来越高的要求。在不同应用场景、网络环境下部署深度语音合成模型，不仅需要模型具有更好的推断效果，也对模型运算的实时性提出更高要求。

深度语音合成模型为具有足够的表征能力，但如果要将其部署到移动端，却存在不少问题，例如：一方面，深度语音合成模型一般参数较多，如WaveNet模型参数量达到4.6M，WaveGlow模型参数量达到87.9M，FloWaveNet模型参数量达到182.6M，远超过移动端的计算能力；另一方面，在一些基于语音合成的应用场景，如丢包补偿，要求模型达到或超过实时合成的速度。

传统移动端语音合成方法为达到移动端实时效果，一般使用拼接合成、参数合成或浅度学习等方法。这些方法通常也受限于模型参数量、每秒浮点计算次数(FloatingPoint Operations per Second,FLOPS)，在实践中往往无法达到小型化和实时性的要求，往往需要进行人工压缩剪枝，或在后台进行大规模算力部署。

发明内容

本申请的目的在于解决上述问题而提供一种语音合成模型生成方法及其相应的装置、设备、非易失性可读存储介质，以及计算机程序产品。

根据本申请的一个方面，提供一种语音合成模型生成方法，包括如下步骤：

调用控制器，由控制器生成声码器的结构编码；

根据结构编码构造声码器，该声码器包括根据结构编码生成的条件网络和自回归网络；

采用训练集将所述声码器迭代训练至收敛状态，根据该声码器在测试集上获得的性能评分，在控制器未达至收敛之前对控制器实施梯度更新并迭代生成新的声码器；

在控制器达至收敛后，根据性能评分选出声码器作为语音合成模型。

根据本申请的另一方面，提供一种语音合成模型生成装置，包括：

编码生成模块，设置为调用控制器，由控制器生成声码器的结构编码；

声码器构造模块，设置为根据结构编码构造声码器，该声码器包括根据结构编码生成的条件网络和自回归网络；

迭代决策模块，设置为采用训练集将所述声码器迭代训练至收敛状态，根据该声码器在测试集上获得的性能评分，在控制器未达至收敛前对控制器实施梯度更新并迭代生成新的声码器；

模型产出模块，设置为在控制器达至收敛后，根据性能评分选出声码器作为语音合成模型。

根据本申请的另一方面，提供一种语音合成模型生成设备，包括中央处理器和存储器，所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行本申请所述的语音合成模型生成方法的步骤。

根据本申请的另一方面，提供一种非易失性可读存储介质，其以计算机可读指令的形式存储有依据所述的语音合成模型生成方法所实现的计算机程序，所述计算机程序被计算机调用运行时，执行该方法所包括的步骤。