[发明专利]一种韵律控制语音合成方法、系统及电子装置

说明书

本申请涉及一种韵律控制语音合成方法、系统和电子装置，其中所述方法包括：对待合成文本进行正则获取语言学特征和音素序列；将所述音素序列输入Tacotron2模型的编码器；将编码结果和所述语言学特征输入韵律参数预测模型，预测待合成文本的韵律参数，获得音素级别的时长和DCT参数化基频；将所述音素级别时长和DCT参数化基频映射为二维向量，与所述编码结果拼接输入Tacotron2的解码器，输出韵律声学特征序列；将所述韵律声学特征序列送入声码器合成语音信号。该方法通过使用DCT参数化的基频和时长，使得Tacotron2模型中能够引入额外的语言学特征来辅助韵律的控制，并且该方法使得模型能够收敛，更加具有解释性。该方法相比其他方法更加鲁棒，对于长句更加稳定。

技术领域

本申请涉及语音合成技术领域，特别涉及一种韵律控制语音合成方法、系统及电子装置。

背景技术

语音合成技术是将输入的文本转换为语音的重要技术，也是人机交互领域的一个重要研究内容。

声谱预测网络(以下简称Tacotron2)的发明在英文上很大的提升了将输入的文本转换为语音的自然度。但是当移植到中文上使用时，由于中文汉字的稀疏性，存在韵律不稳定的现象。目前的中文语音合成技术主流做法是输入端的输入为从中文文本提取的音素序列，但由于在字音转换过程损失了很多与分词和词性相关的信息，使得Tacotron2模型不能收敛。其他改进的方案如在输入端加入韵律相关特征等在输入上的改动也会容易导致Tacotron2模型不能收敛。

发明内容

本申请的目的在于克服传统的中文端到端网络利用Tacotron2将输入的中文文本转换为语音时存在韵律不稳定的问题。

为了实现上述目的，本申请提供了一种韵律控制语音合成方法、系统和电子装置，基于DCT参数化基频和时长来实现韵律控制。

第一方面，本申请提供了一种韵律控制语音合成方法，包括：对待合成文本进行正则获取语言学特征和音素序列；将所述音素序列输入Tacotron2模型的编码器；将编码结果和所述语言学特征输入韵律参数预测模型，预测待合成文本的韵律参数，获得音素级别的时长和DCT参数化基频；将所述音素级别时长和DCT参数化基频映射为二维向量，与所述编码结果拼接输入Tacotron2的解码器，输出韵律声学特征序列；将所述韵律声学特征序列送入声码器合成语音信号。

在一个可能的实施方式中，所述方法还包括预训练Tacotron2模型，包括：以音素序列为输入，以帧级别的多维声学特征为输出训练Tacotron2模型，获得具有音素序列与所述声学特征的对应关系的上下文权重矩阵。

在一个可能的实施方式中，所述预测待合成文本的韵律参数，包括：基于预训练Tacotron2模型获得的所述上下文权重矩阵，使用以下公式获得音素对应的帧数：

N_i＝∑_jW_ij

其中N_i表示所述音素序列中第i个音素对应的帧数，W_ij表示第j帧声学特征对应于第i个音素的概率；计算log(N_i)获得所述音素级别的时长；计算N阶的离散余弦变换的系数e＝[e₀,e₁...e_T-1]^T的基频为：

其中，D^(t)为逆离散余弦变换时的第t帧的向量：