[发明专利]一种双层自回归解码的序列到序列语音合成方法及系统

说明书

本发明提出一种双层自回归解码的序列到序列语音合成方法及系统，系统包括编码器和解码器，所述解码器包括：音素级表征模块、音素级预测模块、帧级预测模块；所述编码器将音素名、音调和韵律短语边界信息用向量表征，然后使用卷积神经网络和双向长短时记忆网络将这些信息编码融合得到句子中每个音素的上下文单元表征；所述音素级表征模块，通过帧一级的长短时记忆网络(LSTM)和池化处理获得每个音素单元的声学单元表征；所述音素级预测模块，采用音素级自回归结构来预测当前音素的声学单元表征并建立连续音素之间的依赖关系；所述帧级预测模块，通过解码器LSTM来预测帧级的声学特征。

技术领域

本发明属于语音信号处理领域，具体涉及一种双层自回归解码的序列到序列语音合成方法及系统。

背景技术

语音合成(speech synthesis)旨在使机器像人类一样流畅自然地说话，它使许多语音交互应用受益，例如智能个人助理和机器人。当前，统计参数语音合成(statisticalparametric speech synthesis,SPSS)是其中一种主流的方法。

统计参数语音合成利用声学模型来建模文本特征和声学特征之间的关系，并利用声码器(vocoder)在给定预测声学特征的情况下得到语音波形。尽管这种方法可以产生清晰的声音，但由于声学模型和声码器的局限性，合成语音的质量始终会有所下降。最近，Wang和Shen等人提出了基于神经网络的序列到序列(sequence-to-sequence)语音合成声学模型，并证明了直接从文本中预测梅尔谱的出色性能。它解决了传统SPSS方法的诸多不足，例如需要大量领域内的专业知识、SPSS每个模块独立训练导致可能出现的累计误差等。这种序列到序列的语音合成方法对人工参与的依赖度低，只需要在配对的文本和语音上进行训练。

但是由于序列到序列语音合成方法将声学模型与时长模型统一在一个模型之内，并且由于Tacotron模型的加性注意力机制(additive attention)不够鲁棒，这可能会导致预测的声学特征出现一些错误，尤其是在输入复杂的域外文本时更是如此。为了缓解这个问题，人们对注意力机制提出了一些改进，例如前向注意力，逐步单调注意力(SMA)和位置相对注意力等机制。其中前向注意力机制提出了一种在每步解码时仅考虑满足单调条件的对齐路径；逐步单调注意力机制(stepwise monotonic attention,SMA)进一步限制了对齐的路径并且解决了注意力坍塌的问题。不过这些方法始终是在帧层面进行自回归的，不具有长时建模声学特征从而让模型自然地获得鲁棒性的能力。

目前基于神经网络的序列到序列语音合成方法都是基于帧级自回归解码结构进行设计的，存在长时相关性建模能力的不足，此外模型所采用的注意力机制的鲁棒性也不够理想，在合成复杂文本时存在重复、漏读、无法停止等合成语音错误。

发明内容

为了解决上述问题，本发明提出了一种双层自回归解码的序列到序列语音合成方法及系统。该系统的解码器使用音素和帧两级自回归结构进行声学特征序列的预测，同时利用训练数据中明确的音素边界信息以及通过可解释的音素转移概率，代替传统模型中的注意力机制，来实现声学特征序列与文本特征序列间的对齐。本发明提出的模型在保证合成语音自然度的前提下，可以有效减少声学特征预测错误，提高语音合成的鲁棒性。本发明综合利用神经网络、统计参数语音合成两个技术领域的特性，针对合成文本的鲁棒性不足，采用预测音素间转移概率的方法去取代注意力机制；针对只在帧层面进行的自回归难以建模特征间长时依赖性的问题，引入了音素级的自回归方法并重新设计了解码器。

本发明的技术方案如下：一种双层自回归解码的序列到序列语音合成系统，包括编码器和解码器，所述解码器包括：音素级表征模块、音素级预测模块、帧级预测模块；

所述编码器输入是一个句子中音素的语言表征，即将音素名、音调和韵律短语边界信息用向量表征，然后使用卷积神经网络和双向长短时记忆网络将这些信息编码融合得到句子中每个音素的上下文单元表征；