[发明专利]一种基于自注意力的汉语韵律层级预测方法及系统

说明书

本发明公开了一种基于自注意力的汉语韵律层级预测方法，所述方法包括：对大量无标注文本进行学习获得单字的字向量，利用字向量将待预测的文本转换为字向量序列，将字向量序列输入训练好的韵律层级预测模型，输出文本的词位和韵律层级。本发明的方法利用韵律层级预测模型进行汉语韵律层级预测，在保证预测性能的同时以字粒度的特征作为输入，避免了对于分词系统的依赖及其可能造成的负面影响，该模型利用自注意力机制，直接对文本中任意两个字间的关系建模，可实现并行化计算；并利用额外数据进行预训练提高模型性能，实现对待处理文本各韵律层级同时准确的预测，避免了错误的传递。

技术领域

本发明涉及语音合成技术领域，具体涉及一种基于自注意力的汉语韵律层级预测方法及系统。

背景技术

在语音合成系统中，根据输入待合成文本预测韵律层级结构一直是至关重要的一步，其预测结果将作为语言学特征的一部分用于声学特征及时长的建模。因此韵律层级预测的准确性在很大程度上决定了合成语音的自然度，实现准确的韵律层级预测有重要意义。

目前主流的方法为使用双向长短时记忆网络BLSTM，以词向量作为输入对不同的韵律层级分别进行建模，即对韵律词、韵律短语、语调短语分别训练一个模型，并将低层级的预测结果作为高层级的输入实现韵律的逐级预测。

但是，上述方法存在以下问题：1)LSTM作为一种RNN结构，每次预测当前时刻输出值时需要利用前一时刻的输出值，这种顺序的计算阻碍了它的并行化而且使任意两个字间的距离为O(n)；2)在词粒度上进行韵律预测模型的训练与预测意味着必须对输入文本先进行分词处理，而分词的结果将会直接影响韵律层级预测的性能。另外，汉语词条数目巨大，存储这些词向量将占用很大的存储空间与计算资源，这对于离线语音合成来说显然是不实用的；3)逐级的韵律预测会使错误的结果不断传递，导致后续的预测错误。

实现对文本的韵律层级预测是语音合成系统中必不可少的一步，但目前主流的方法利用词级别的特征依赖分词系统的性能，而且逐级的韵律预测会造成错误结果的不断传递。

发明内容

本发明旨在至少在一定程度上解决现有相关技术中存在的上述问题，提出一种韵律层级预测方法，该方法以字作为模型的基本单元，在避免对分词系统依赖的同时，减小对存储空间的需求；并且利用一个模型实现对多级韵律的同时预测，解决错误传递的问题。

为了实现上述目的，本发明提出了一种基于自注意力的汉语韵律层级预测方法，所述方法包括：

对大量无标注文本进行学习获得单字的字向量，利用字向量将待预测的文本转换为字向量序列，将字向量序列输入训练好的韵律层级预测模型，输出文本的词位和韵律层级。

作为上述方法的一种改进，所述韵律层级预测模型的训练步骤包括：

步骤1)对大量无标注文本进行学习获得单字的字向量；

步骤2)利用步骤1)得到的字向量将分词数据对应的文本转换为字向量序列，并根据分词结果得到其词位标记序列；

步骤3)基于自注意力机制构建韵律层级预测模型，分别以步骤2)中得到的分词数据的字向量序列及词位标记序列作为输入和输出，对该预测模型进行预训练；

步骤4)利用步骤1)得到的字向量将韵律标注数据对应的文本转换为字向量序列，根据其对应分词结果得到词位标记序列，并根据韵律标注获得各韵律层级对应的标注序列；

步骤5)在步骤3)的预训练得到的模型基础上，根据步骤4)得到的韵律数据的字向量序列、词位标记序列、韵律标注序列，再次训练韵律层级预测模型，得到训练好的韵律层级预测模型。

作为上述方法的一种改进，所述步骤1)具体为：基于连续词袋模型CBOW，设定字向量维度为d，利用大量无标注文本进行训练得到文本中所有单字的字向量初始值，以字-字向量初始值构建字表。