[发明专利]语音合成方法、装置、电子设备及存储介质

说明书

本发明公开了一种语音合成方法，涉及语音合成领域，该方法包括以下步骤：获取文本数据，根据文本数据得到线性频谱和相位的目标值，将文本数据转化为文本向量；将文本向量输入神经网络模型得到线性频谱和相位的预测值，进而计算整体损失，用以训练神经网络模型，通过训练完成的神经网络模型得到线性频谱和初始相位；将线性频谱和初始相位输入Griffin‑Lim声码器训练，得到文本数据对应的音频信号。该方法根据线性频谱和初始相位训练Griffin‑Lim声码器，能够减少声码器迭代次数，加快声码器收敛速度，在不降低音频质量的情况下，加速音频实时合成过程，适用于利用Griffin‑Lim算法作为声码器的语音合成装置。本发明还公开了一种语音合成装置、电子设备和计算机存储介质。

技术领域

本发明涉及语音合成领域，尤其涉及一种语音合成方法、装置、电子设备及存储介质。

背景技术

语音合成是中文信息处理领域的一项前沿技术，主要是将给定的文本输入按字或词分解为特征向量，再将特征向量转化为音频特征，最终用声码器将音频特征还原为相应的音频文件输出。随着WaveNet，LpcNet等技术的提出，出现了一批采用神经网络作为声码器的语音合成方法，但在合成性能或合成效果上还很难达到商用，目前Griffin-Lim算法作为声码器广泛应用于语音合成方法中。Griffin-Lim算法作为一种利用频谱预测相位的迭代算法，以频谱幅值作为输入，随机初始化的相位通过一定次数的迭代，得到连接音频帧的合适的相位，恢复出时域音频信号。

现有的语音合成方法采用神经网络模型将文本转化为线性频谱，然后输入Griffin-Lim声码器通过反复迭代以产生质量较好的音频信号。为了改善整体的性能，往往从工程角度优化Griffin-Lim声码器进而提高单次迭代的效率，却忽视了基于神经网络模型为Griffin-Lim声码器提供一个较好的初始相位，以加快其收敛速度，从根本上解决Griffin-Lim声码器多次迭代带来的负担。

发明内容

为了克服现有技术的不足，本发明的目的之一在于提供一种语音合成方法，其通过将频谱和相位的目标值和测试值加入整体损失，使得模型的频谱和相位往一致的方向训练，基于训练完成的模型得到线性频谱和初始相位，并将线性频谱和初始相位输入Griffin-Lim声码器进行训练，得到连接各音频帧的连合相位，恢复并输出相应的音频信号。

本发明的目的之一采用以下技术方案实现：

获取文本数据，根据所述文本数据得到线性频谱目标值和相位目标值，将所述文本数据转化为文本向量；

将所述文本向量输入神经网络模型得到线性频谱预测值和相位预测值，根据所述线性频谱目标值、所述线性频谱预测值、所述相位目标值和所述相位预测值计算整体损失，根据所述整体损失训练所述神经网络模型，通过训练完成的所述神经网络模型得到线性频谱和初始相位；

将所述线性频谱和所述初始相位输入至Griffin-Lim声码器进行迭代训练，得到所述文本数据对应的音频信号；

其中，将所述线性频谱和所述初始相位输入至Griffin-Lim声码器进行迭代训练，得到所述文本数据对应的音频信号，包括：将所述线性频谱和所述初始相位进行逆短时傅里叶变换得到音频信号，通过Griffin-Lim声码器的迭代训练，得到连接各音频帧的连合相位，根据所述连合相位恢复并输出所述文本数据对应的音频信号。

进一步地，根据所述文本数据得到线性频谱目标值和相位目标值，将所述文本数据转化为文本向量，包括：

获取与所述文本数据匹配的音频数据；

将所述音频数据进行短时傅里叶变换得到所述线性频谱目标值和所述相位目标值；

将所述文本数据进行分词，得到所述文本数据的分词结果，对所述分词结果进行独热编码得到文本向量。