[发明专利]一种汉语盲文语音合成方法及系统

权利要求书

1.一种汉语盲文语音合成方法，其特征在于，包括：

步骤1、通过将待语音合成的该通用盲文文本中标点符号和音节分别转换为中文标点和拼音，得到拼音序列；

步骤2、通过汉字预测模型将该拼音序列转换为汉字，得到带有分词信息的汉字序列，并将该汉字序列输入至韵律预测模型，得到该汉字序列的韵律标签；

步骤3、结合该韵律标签和拼音序列，得到含有韵律标签的拼音序列，并将其输入至语音合成模块，得到该通用盲文文本的语音合成结果。

2.如权利要求1所述的汉语盲文语音合成方法，其特征在于，该步骤1包括：

将标点符号和汉字音节从该通用盲文文本中分离，并保留分词信息，根据编码表，将标点符号转换为中文标点，汉字音节转换为拼音，并根据通用盲文系统的规则，对缺省的部分声母、韵母或声调进行恢复，得到初始拼音序列；

根据语气词词典并结合该初始拼音序列中每一个音节的位置信息、分词信息和标点符号信息对该初始拼音序列中存在歧义的音调进行歧义消除，得到中间拼音序列；对于该通用盲文文本中阿拉伯数字、希腊字母、特殊字符使用文本正则化得到其对应的汉字文本并使用汉字转拼音工具得到对应的拼音，并将其补充至该中间拼音序列，得到完整的该拼音序列；

其中该语气词词典的构造和使用方法为：基于规则将训练用盲文转换为拼音后，与该训练用盲文对应的正确拼音进行对照，选取声调误标的高频语气词，并构建为该语气词词典；在进行通用盲文拼音转换时，对于每一个音节，结合位置信息、分词信息、标点符号以及该语气词词典中是否存在该音节判断当前音节是否为语气词，并进行声调修正。

3.如权利要求1所述的汉语盲文语音合成方法，其特征在于，

步骤1中该拼音序列包括正常拼音序列和变调拼音序列；

步骤3包括：结合该韵律标签和该变调拼音序列，得到含有韵律标签的变调拼音序列；

其中，通过通用盲文系统的规则将该通用盲文文本中标点符号和音节分别转换为中文标点和拼音，得到该正常拼音序列；

根据变调规则，将该正常拼音序列中拼音转换为变调拼音，得到该变调拼音序列。

4.如权利要求1所述的汉语盲文语音合成方法，其特征在于，步骤2中该汉字预测模型由预处理网络、多头自注意力层和卷积网络块组成；该拼音序列经该预处理网络进行多维的字嵌入处理，得到嵌入向量，并通过多头自注意力层，在不同的特征空间中利用上下文信息进行特征的自我更新，建立拼音上下文之间的关联关系，在多头自注意力层后使用了残差连接，将该多头自注意力层的输入和输出进行融合，得到融合向量；该卷积网络块包括多层不同粒度的二维卷积网络模块，且卷积核尺寸逐层递增，每层网络挖掘的上下文跨度逐层增加，随着网络深度的加深，感受野也不断增大，以对该融合向量进行从局部到全局的特征提取，且在每层卷积网络中加入批标准化，用于缓解内部协变量偏移，并使用最大池化机制进行下采样，最后使用softmax，计算各拼音对应的汉字词集中的概率分布，选取概率最大的汉字作为该汉字序列。

5.如权利要求1所述的汉语盲文语音合成方法，其特征在于，该语音合成模块包括声学模型和声码器，该声学模型用于提取含有韵律标签的拼音序列的声学特征，该声码器用于将该声学特征还原为音频波形；该声学模型的构建过程包括：获取Tacotron2模型，将Tacotron2模型中PostNet层从原本5层减少到3层，并在Tacotron2模型的自回归解码过程中，使用的历史输出为前4步的历史输出：y_t＝Decoder(y_t-4y_t-3y_t-2,,y_t-1,,c_t)。

6.如权利要求1所述的汉语盲文语音合成方法，其特征在于，该分词信息为预设符号，该汉字序列中分词位置用该预设符号表示；或

该汉字序列的文本嵌入信息、前后句分割嵌入信息、位置嵌入信息和分词信息分别输入至该韵律预测模型的词条嵌入信息层、前后句分割嵌入信息层、位置嵌入信息层和分词嵌入信息层。