[发明专利]一种基于Tacotron2改进的语音合成方法

说明书

一种基于Tacotron2改进的语音合成方法，属于语音合成技术领域，提供了一种基于Tacotron2改进的语音合成方法。本方法的特征是将文本输入标点恢复模块，对文本进行分割，将分割好的文本按照对应规则转化为拼音与声调的字符序列，输入编码器以及解码器预测合成语音的梅尔谱图，最后利用Wavenet声码器将梅尔频谱特征表达还原成合成的语音。实验证明本发明算法性能良好，最大化的利用了模型的性能，能够有效合成高质量的语音。

技术领域

本发明属于利用语音合成及标点符号恢复语音技术领域，具体是一种基于Tacotron2(端到端文本转语音深度神经网络模型)改进的语音合成方法，涉及到深度神经网络的模型，特别涉及到利用深度神经网络合成高质量语音的方法。

背景技术

原始的Tacotron2是将整段语音预测后全部输出，然而模型中使用的RNN(卷积神经网络)在应对长文本问题时总会产生失真严重及重复等问题。为了解决该问题，研究工作者用Waveglow(Wavenet改进的基于流的文本转语音网络模型)声码器替代Wavenet(用于文本转语音的网络模型)声码器，Waveglow声码器是基于流的生成模型，它有效的估计了密度，确保了快速高效的采样，但在一定程度上牺牲了语音合成的质量。因此，本发明首先提出了在语音合成模型之前附加标点符号恢复模块，通过标点符号对文本进行适当的分割，从而最大化的利用了模型的性能，合成高质量的语音。

发明内容

本发明的主要目的是为了解决现有技术问题，提供一种基于Tacotron2改进的语音合成方法。

基于Tacotron2改进的语音合成方法，包括以下步骤：

A.文本预处理。

A1.使用数据库预训练标点符号的预测模型，然后将文本输入标点恢复模块，对标点符号进行预测。

A2.根据标点符号的预测对文本进行切分，并将分割好的文本按次序输入。

A3.将分割好的文本按照对应规则转化为拼音与声调的字符序列。

B.输入编码器以及解码器预测合成语音的梅尔谱图。

B1.将拼音与声调的字符序列输入3层卷积神经网络及双向LSTM(长短时记忆网络)网络组成的编码器。

B2.通过加性注意力机制将编码器的输出送入解码器中进行预测。

C.利用Wavenet声码器还原语音。

C1.通过三层卷积层获得梅尔频谱特征。

C2.梅尔频谱特征表达逆变换为时域波形样本。

其优点在于：

本发明首先将文本输入标点恢复模块，对文本进行分割，将分割好的文本按照对应规则转化为拼音与声调的字符序列，输入编码器以及解码器预测合成语音的梅尔谱图，最后利用Wavenet声码器将梅尔频谱特征表达还原成合成的语音。

这种方法通过标点符号对文本进行适当的分割，简化了注意力模型，从而最大化的利用了模型的性能，合成高质量的语音。

附图说明

附图1是本发明中的语音合成的总体流程图。

附图2是本发明中的语音合成系统的具体流程图。

附图3是本发明中的语音合成系统的中间表征梅尔谱图(图3左边是中间表征梅尔谱图，右边是标尺，单位：梅尔)。

附图4是本发明中合成语音与真实语音的频域比较图。

附图5是本发明中合成语音与真实语音的时域比较图。

具体实施方式