[发明专利]语音合成方法、装置、设备及存储介质

说明书

本发明属于人工智能技术领域，提出一种语音合成方法、装置、设备及存储介质，该方法包括：将待合成文本输入到语音合成系统中；基于图编码器，根据待合成文本，获取待合成文本对应的韵律向量信息；基于线性层，根据待合成文本对应的韵律向量信息，获取先验分布的均值和方差；基于随机时长预测器，将待合成文本对应的韵律向量信息和预设噪声，获取因素时长对数，并对先验分布的均值和方差、因素时长的对数进行对齐，获取因素时长；基于标准化流模块，根据因素时长，获取中间向量信息；基于解码器，根据中间向量信息，获取合成语音。减少了传统级联模型造成的累积误差，并且大大简化了传统语音合成模型的训练过程。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种语音合成方法、装置、设备及存储介质。

背景技术

语音合成(Text-To-Speech，简称TTS)是指通过文字人工生成人类的声音，也就是让设备根据相应的输入文本发出语音。近年来，神经语音合成系统高速发展，摆脱了传统方法冗杂的合成流程，不再依赖高度专业的文法、词法特征提取，而是将原始文本经过神经网络转成梅尔谱，再将梅尔谱转成声音波形，实现了端到端的语音合成系统，所合成的语音质量近似人声，其在人工智能行业有着非常重要的应用，比如语音助手和各种场景的翻译、有声读物、新闻播报、人工智能电话和人工智能主播等等。

不考虑前端文本处理的情况下，语音合成的主要建模过程被简化为两个主要阶段。第一阶段：将前端文本处理得到的规范文本序列转换为中间特征表示，如梅尔频谱声学特征或语言学特征表示。第二阶段：将中间特征表示重构为语音波形。

尽管并行化的TTS系统蓬勃发展，但两阶段模型仍然存在一些问题：1，由于第二阶段需要依赖于第一阶段的输出进行训练，因此序列化或微调的训练方式仍然必不可少；2，可学习的特征表示有助于提升TTS的表现，但是两阶段模型中第一阶段和第二阶段的衔接依赖于预先定义好的中间特征表示，模型表现仍然有进一步提升的空间。这种两步处理的累积误差可能会导致最终结果与预期结果产生较大误差，并且第一步声学模型的误差会直接影响第二步模型的效果，声学模型和声码器的细微差异度会导致整体语音合成系统的效果不佳。

发明内容

本发明提供一种语音合成方法、装置、设备及存储介质，其主要目的在于不需要中间声学特征表示便可直接为文本生成高自然度的合成语音，实现端到端的语音合成方法，有效提高语音合成模型的使用效果。

第一方面，本发明实施例提供一种语音合成方法，包括：

将待合成文本输入到语音合成系统中，所述语音合成系统包括图编码器、线性层、随机时长预测器、标准化流模块和解码器，所述语音合成系统通过样本文本、所述样本文本对应的线性频谱、所述样本文本对应的语音标签进行训练得到；

基于所述图编码器，根据所述待合成文本，获取所述待合成文本对应的韵律向量信息；

基于所述线性层，根据所述待合成文本对应的韵律向量信息，获取先验分布的均值和方差；

基于随机时长预测器，将所述待合成文本对应的韵律向量信息和预设噪声，获取因素时长对数，并对所述先验分布的均值和方差、所述因素时长的对数进行对齐，获取因素时长；

基于标准化流模块，根据所述因素时长，获取中间向量信息；

基于所述解码器，根据所述中间向量信息，获取合成语音。

优选地，所述基于所述图编码器，根据所述待合成文本，获取所述待合成文本对应的韵律向量信息，包括：

将所述待合成文本转换为图嵌入向量信息，所述图嵌入向量信息包括多个节点向量和多个边向量；

对多个边向量进行筛选，获取相对应两个节点向量之间的目标边向量，对所述目标边向量进行编码，获取所述待合成文本对应的韵律向量信息，所述目标边向量表示对应两个节点向量的韵律关系。