[发明专利]一种韵律控制语音合成方法、系统及电子装置

权利要求书

1.一种韵律控制语音合成方法，包括：

对待合成文本进行正则获取语言学特征和音素序列；

将所述音素序列输入Tacotron2模型的编码器；

将编码结果和所述语言学特征输入韵律参数预测模型，预测待合成文本的韵律参数，获得音素级别的时长和DCT参数化基频；

将所述音素级别时长和DCT参数化基频映射为二维向量，与所述编码结果拼接输入Tacotron2的解码器，输出韵律声学特征序列；

将所述韵律声学特征序列送入声码器合成语音信号。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括预训练Tacotron2模型，包括：

以音素序列为输入，以帧级别的多维声学特征为输出训练Tacotron2模型，获得具有音素序列与所述声学特征的对应关系的上下文权重矩阵。

3.根据权利要求2所述的方法，其特征在于，所述预测待合成文本的韵律参数，包括：

基于预训练Tacotron2模型获得的所述上下文权重矩阵，使用以下公式获得音素对应的帧数：

N_i＝∑_jW_ij

其中N_i表示所述音素序列中第i个音素对应的帧数，W_ij表示第j帧声学特征对应于第i个音素的概率；

计算log(N_i)获得所述音素级别的时长；

计算N阶的离散余弦变换的系数e＝[e₀,e₁...e_T-1]^T的基频为：

其中，D^(t)为逆离散余弦变换时的第t帧的向量：

4.根据权利要求1所述的方法，其特征在于，所述方法还包括Tacotron2网络和韵律参数预测模型联合训练的步骤，具体包括：

以帧级别的音素序列和音素级别的语言学特征为输入，以多维声学特征为输出；

以训练过程中最小绝对误差作为韵律参数预测损失函数；

以训练过程中输出的声学特征与帧级别声学特征的最小均方误差作为声学特征重建损失；

将韵律参数预测损失函数与声学特征重建损失加权求和作为最终损失函数；

根据最终损失函数更新网络参数，对Tacotron2模型和韵律参数预测模型进行联合训练；

在前50epoch的训练中将损失权重设为零，在训练时损失权重不断增加，到0.1为止。

5.根据权利要求2或4所述的方法，其特征在于，在所述预训练Tacotron2模型或联合训练之前还包括：

从单一说话人语音数据库提取帧级别的音素序列、多维声学特征以及音素级别的语言学特征；

其中，所述多维声学特征提取时的帧移为10ms；

所述多维声学特征为20维，包括：18维bark倒谱系数、1维基频参数和1维基频相关系数；

所述音素级别的语言学特征为5维，包括：当前音素在字中的位置、当前字在词中的位置，当前词的词性，句子中词语的个数和当前句子的类型。

6.根据权利要求1所述的方法，其特征在于，所述对待合成文本进行正则获取语言学特征和音素序列，包括：

利用分词工具获得所述待合成文本的分词结果和词性标注，提取语言学特征；

通过字音转换获得所述待合成文本的音素序列。

7.根据权利要求1所述的方法，其特征在于，将所述音素级别时长和DCT参数化基频映射为二维向量，与所述编码结果拼接输入解码器，输出韵律声学特征序列，包括：

将所述音素级别时长和DCT参数化基频降维映射为二维向量，与所述编码结果拼接在一起后送入解码器，输出韵律声学特征序列。