[发明专利]基于深度学习的语音训练方法、装置、设备以及存储介质

说明书

本发明公开了一种基于深度学习的语音训练方法、装置、计算机设备以及存储介质，应用于人工智能技术领域，提供通过教师‑学生神经网络训练语音合成模型的方法，能够高效、快速、低资源消耗低训练语音合成模型。本发明提供的方法包括：对第一音素序列进行编码得到第一音素编码值；对第一音素编码值进行时长预测处理得到第一发音时长预测值；对第一音素序列中的每个音素进行扩展处理，得到第一音素序列中的每个音素的扩展特征；将第一音素序列中的每个音素的扩展特征变换为第一梅尔频谱值；通过训练好的教师神经网络提供的隐变量以及第一梅尔频谱值对学生神经网络进行训练，训练至学生神经网络的第一损失函数收敛时，得到训练好的学生神经网络。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种基于深度学习的语音训练方法、装置、计算机设备以及存储介质。

背景技术

现有的基于深度学习的语音合成技术，大多数基于序列-到-序列(seq2seq)的方案，如Tacotron2，相较于传统的统计参数模型算法，给语音合成的效果带来显著的提升。但是相对来说，序列-到-序列的模型系统训练，需要大量的的训练数据集以及计算资源来进行模型的学习，且在推理阶段也很难做到高效率的语音合成。一些系统尝试在序列-到-序列的模型基础上，用不同的模型结构的技巧来降低计算资源上的压力，例如通过在编码-解码阶段采用卷积神经网络，这个模型能够快速的训练，但是问题是仍旧需要序列推理，这个相对来说推理效率还是比较低的。为了避免序列化的推理阶段，一些模型采用了自注意力机制，来并行化频谱生成的结构，但是注意力层的训练阶段是十分困难并且耗时的，目前为止缺乏一种能够同时做到高效训练、高效推理和高品质的语音合成模型。

发明内容

本发明实施例提供一种基于深度学习的语音训练方法、装置、计算机设备以及存储介质，以解决目前缺乏一种能够同时做到高效训练，高效推理和高品质的语音合成模型的技术问题。

在本发明的一个方面，提供了一种基于深度学习的语音训练方法，包括以下步骤：

对第一音素序列进行编码，得到第一音素编码值；

对第一音素编码值进行时长预测处理，得到第一发音时长预测值；

基于第一发音时长预测值对第一音素序列中的每个音素进行扩展处理，得到第一音素序列中的每个音素的扩展特征；

将第一音素序列中的每个音素的扩展特征变换为第一梅尔频谱值；

通过训练好的教师神经网络提供的隐变量以及第一梅尔频谱值对学生神经网络进行训练，训练至学生神经网络的第一损失函数收敛时，得到训练好的学生神经网络。

在本发明的另一个方面，提供了一种基于深度学习的语音训练装置，包括以下模块：

第一音素编码模块，用于对第一音素序列进行编码，得到第一音素编码值；

时长预测处理模块，用于对第一音素编码值进行时长预测处理，得到第一发音时长预测值；

扩展处理模块，用于基于第一发音时长预测值对第一音素序列中的每个音素进行扩展处理，得到第一音素序列中的每个音素的扩展特征；

第一梅尔频谱值变换模块，用于将第一音素序列中的每个音素的扩展特征变换为第一梅尔频谱值；

学生神经网络训练模块，用于通过训练好的教师神经网络提供的隐变量以及第一梅尔频谱值对学生神经网络进行训练，训练至学生神经网络的第一损失函数收敛时，得到训练好的学生神经网络。

在本发明的另一个方面，提供了一种计算机设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述基于深度学习的语音训练方法的步骤。