[发明专利]具有多级别文本信息的神经文本到语音合成

权利要求书

1.一种用于通过神经文本到语音(TTS)合成来生成语音的方法，包括：

获得文本输入；

基于所述文本输入来生成音素或字符级别文本信息；

基于所述文本输入来生成上下文敏感文本信息；

基于所述音素或字符级别文本信息和所述上下文敏感文本信息来生成文本特征；以及

至少基于所述文本特征来生成与所述文本输入相对应的语音波形。

2.根据权利要求1所述的方法，其中，所述音素或字符级别文本信息包括音素或字符嵌入向量序列，并且所述生成音素或字符级别文本信息包括：

从所述文本输入中识别音素或字符序列；以及

通过音素或字符嵌入模型，基于所述音素或字符序列来生成所述音素或字符嵌入向量序列。

3.根据权利要求1所述的方法，其中，所述上下文敏感文本信息包括词语级别文本信息，并且所述生成上下文敏感文本信息包括生成所述词语级别文本信息。

4.根据权利要求3所述的方法，其中，所述词语级别文本信息包括词语嵌入向量序列，并且所述生成词语级别文本信息包括：

从所述文本输入中识别词语序列；以及

通过词语嵌入模型，基于所述词语序列来生成所述词语嵌入向量序列。

5.根据权利要求4所述的方法，其中，所述生成所述词语嵌入向量序列包括：

对所述词语序列进行上采样以与所述文本输入的音素或字符序列对准；以及

通过所述词语嵌入模型，基于经上采样的词语序列来生成所述词语嵌入向量序列。

6.根据权利要求4所述的方法，其中，所述词语嵌入模型是基于神经机器翻译(NMT)的。

7.根据权利要求3所述的方法，其中，所述生成文本特征包括：

基于所述音素或字符级别文本信息和所述词语级别文本信息来生成所述文本特征。

8.根据权利要求1所述的方法，其中，所述上下文敏感文本信息包括句子级别文本信息，并且所述生成上下文敏感文本信息包括生成所述句子级别文本信息。

9.根据权利要求8所述的方法，其中，所述句子级别文本信息包括语法解析信息序列，并且所述生成句子级别文本信息包括：

对所述文本输入执行语法解析，以获得所述文本输入的语法结构；以及

基于所述语法结构来生成所述语法解析信息序列。

10.根据权利要求9所述的方法，其中，所述生成所述语法解析信息序列包括：

从所述语法结构中提取所述文本输入中每个词语的语法解析信息；

对每个词语的所述语法解析信息进行上采样，以与所述文本输入的音素或字符序列中的相应音素或字符对准；以及

将所述文本输入中所有词语的经上采样的语法解析信息组合成所述语法解析信息序列。

11.根据权利要求10所述的方法，其中，每个词语的所述语法解析信息包括以下至少之一：

对包含所述词语的至少一个短语的短语类型的指示；

关于所述词语是否是所述至少一个短语的边界的指示；以及

对所述词语在所述至少一个短语中的相对位置的指示。

12.根据权利要求8所述的方法，其中，所述生成文本特征包括：

基于所述音素或字符级别文本信息和所述句子级别文本信息来生成所述文本特征。

13.根据权利要求1所述的方法，其中，所述上下文敏感文本信息包括词语级别文本信息和句子级别文本信息二者，并且所述生成上下文敏感文本信息包括：生成所述词语级别文本信息；以及生成所述句子级别文本信息。