[发明专利]基于韵律的语音合成方法、模型训练方法及相关设备

说明书

本发明涉及语音处理技术领域，提供一种基于韵律的语音合成方法、模型训练方法及相关设备。所述基于韵律的语音合成方法包括：对待合成文本进行预处理，获得分词文本；根据所述分词文本，通过一韵律模型获得包含韵律信息的韵律文本；将所述韵律文本转换成包含韵律特征的向量；根据所述包含韵律特征的向量，通过一声学模型获得梅尔谱特征；以及根据所述梅尔谱特征，合成目标音频。本发明根据文本的韵律特征进行语音合成，生成发音自然的音频数据，避免断句错误，使合成的音频数据播放起来更加自然真实，提升用户体验。

技术领域

本发明涉及语音处理技术领域，具体地说，涉及一种基于韵律的语音合成方法、模型训练方法及相关设备。

背景技术

随着深度学习技术的不断发展，基于神经网络的语音合成技术也愈加成熟。但是，现有的大部分基于神经网络的语音合成模型为端到端的模型，即输入文本，输出音频，虽然在合成速度上有很大的提升，但是韵律、自然度较差，当出现训练样本中未涵盖的大量词语合成时，会出现断句错误。

尤其对于在线旅游社，每天需要外呼大量的电话，通常是通过外呼机器人实现。现有的外呼机器人，由于其采用的语音合成模型没有考虑韵律特征，容易出现断句错误，导致用户体验差。

需要说明的是，上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

有鉴于此，本发明提供一种基于韵律的语音合成方法、模型训练方法及相关设备，通过根据文本的韵律特征进行语音合成，生成发音自然的音频数据，避免断句错误，使合成的音频数据播放起来更加自然真实，提升用户体验。

本发明提供一种基于韵律的语音合成方法，包括：对待合成文本进行预处理，获得分词文本；根据所述分词文本，通过一韵律模型获得包含韵律信息的韵律文本；将所述韵律文本转换成包含韵律特征的向量；根据所述包含韵律特征的向量，通过一声学模型获得梅尔谱特征；以及根据所述梅尔谱特征，合成目标音频。

在一些实施例中，所述韵律模型包括依次相连的嵌入层、多层双向长短期记忆网络和全连接层。

在一些实施例中，所述通过一韵律模型获得包含韵律信息的韵律文本，包括：将所述分词文本输入所述韵律模型，依次经所述嵌入层、多层所述双向长短期记忆网络及所述全连接层处理后，生成包含韵律信息的韵律文本，所述韵律信息用于标识所述韵律文本中每个韵律短语的停顿时间。

在一些实施例中，所述将所述韵律文本转换成包含韵律特征的向量，包括：将所述韵律文本转换成包含音节、声调和所述韵律信息的拼音序列；将所述拼音序列转换成数字序列；以及，将所述数字序列转换成包含韵律特征的向量，所述韵律特征对应所述韵律信息。

在一些实施例中，所述声学模型包括编码器和解码器，所述编码器包括依次相连的多层卷积神经网络和多层双向长短期记忆网络，所述解码器包括依次相连的多层双向长短期记忆网络和线性层，且所述编码器的最后层双向长短期记忆网络与所述解码器的第一层双向长短期记忆网络相连。

在一些实施例中，所述通过一声学模型获得梅尔谱特征，包括：将所述包含韵律特征的向量输入所述声学模型，依次经所述编码器的多层所述卷积神经网络和多层所述双向长短期记忆网络、以及所述解码器的多层所述双向长短期记忆网络和所述线性层处理后，生成预设维度的梅尔谱特征。

在一些实施例中，所述合成目标音频，包括：将所述梅尔谱特征输入一声码器，获得所述目标音频。

在一些实施例中，所述对待合成文本进行预处理，包括：对所述待合成文本进行正则化处理；将正则化处理后的所述待合成文本调整为统一格式的文本；以及，对所述统一格式的文本进行分词。