[发明专利]一种基于韵律边界的语音合成方法及装置、介质、设备

权利要求书

1.一种基于韵律边界的语音合成方法，其特征在于，包括：

获取待合成文本信息的韵律边界信息，基于所述韵律边界信息生成图嵌入信息；

基于预设的神经网络模型生成所述图嵌入信息的隐状态向量和所述待合成文本信息的序列编码；

基于所述隐状态向量和序列编码生成语音语谱；

依据所述语音语谱合成所述待合成文本信息的语音信息。

2.根据权利要求1所述的方法，其特征在于，所述获取待合成文本信息的韵律边界信息，基于所述韵律边界信息生成图嵌入信息，包括：

将所述待合成文本信息按照预设韵律边界结构划分为多个层级；其中，所述层级包括韵律词、韵律短语；

获取所述待合成文本信息中对应各韵律词的第一向量；

将属于同一韵律短语的多个所述第一向量进行两两组合，生成对应不同组合的第二向量；

基于所述第一向量和所述第二向量组合形成图嵌入信息。

3.根据权利要求2所述的方法，其特征在于，基于预设的神经网络模型生成所述图嵌入信息的隐状态向量，包括：

将所述图嵌入信息作为输入向量输入第一预设神经网络模型；其中，所述第一神经网络模型为预先训练的至收敛状态，用于对图嵌入信息进行编码转换的神经网络模型；

获取所述第一神经网络模型输出的对应各所述韵律短语的隐状态向量。

4.根据权利要求1所述的方法，其特征在于，基于预设的神经网络模型生成所述待合成文本信息的序列编码，包括：

将所述待合成文本信息转换为字符信息，依据所述字符信息形成字符图嵌入信息；

将所述字符图嵌入信息输入第二预设神经网络模型，其中，所述第二预设神经网络模型为预先训练至收敛状态，用于对文本进行编码转换的神经网络模型；

获取所述第二神经网络模型生成的所述待合成文本信息的序列编码。

5.根据权利要求1所述的方法，其特征在于，所述基于所述隐状态向量和序列编码生成语音语谱，包括：

将所述隐状态向量和所述序列编码输入至预设的注意力机制，得到语音语谱。

6.根据权利要求5所述的方法，其特征在于，所述注意力机制包括解码器；

所述将所述隐状态向量和所述序列编码输入注意力机制，得到语音语谱，包括：

将所述隐状态向量和所述序列编码进行拼接，得到拼接向量；

将所述拼接向量输入所述注意力机制中的解码器，通过所述解码器得到所述待合成文本信息的语音语谱。

7.根据权利要求1所述的方法，其特征在于，所述依据所述语音语谱合成所述待合成文本信息的语音信息，包括：

基于预设的Griffin-Lim算法，将所述语音语谱合成所述待合成文本信息的语音信息。

8.一种基于韵律边界的语音合成装置，其特征在于，包括：

信息获取模块，适于获取待合成文本信息的韵律边界信息，基于所述韵律边界信息生成图嵌入信息；

隐向量生成模块，适于生成所述图嵌入信息的隐状态向量；

序列编码生成模块，适于生成所述待合成文本的序列编码；

语谱生成模块，适于基于所述隐状态向量和序列编码生成语音语谱；

语音信息合成模块，适于依据所述语音语谱合成所述待合成文本信息的语音信息。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1-7中任一项所述的基于韵律边界的语音合成方法。

10.一种计算设备，其特征在于，所述计算设备包括处理器以及存储器：

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行权利要求1-7中任一项所述的基于韵律边界的语音合成方法。