[发明专利]多语言神经文本到语音合成

说明书

本公开提供了用于通过多语言神经文本到语音(TTS)合成来生成语音的方法和装置。可以接收采用至少第一语言的文本输入。可以通过讲话者编码器来提供目标讲话者的讲话者潜在空间信息。可以通过语言编码器来提供第二语言的语言潜在空间信息。可以通过声学特征预测器，基于所述文本输入、所述讲话者潜在空间信息和所述第二语言的语言潜在空间信息来生成至少一个声学特征。可以通过神经声码器，基于所述至少一个声学特征来生成与所述文本输入对应的语音波形。

背景技术

文本到语音(TTS)合成旨在基于文本输入来生成对应的语音波形。TTS合成广泛地用于语音到语音翻译、对特定用户的语音定制、故事中的角色扮演等。神经TTS系统被越来越多地用于实施TTS合成，并且正在成为人工智能(AI)领域近些年的研究热点。神经TTS系统可以基于文本输入预测声学特征，并进而基于所预测的声学特征来生成语音波形。与需要良好设计的前端语言特征的传统TTS技术不同，神经TTS系统是采用端到端结构来建立模型的，并且可以直接基于例如文本-语音数据对来进行训练。神经TTS系统可以联合地优化语音的发音、韵律等，这将导致比传统TTS技术更自然的合成语音。

发明内容

提供本发明内容以便介绍一组概念，这组概念将在以下的具体实施方式中做进一步描述。本发明内容并非旨在标识所保护主题的关键特征或必要特征，也不旨在用于限制所保护主题的范围。

本公开的实施例提出了用于通过多语言神经文本到语音(TTS)合成来生成语音的方法和装置。可以接收采用至少第一语言的文本输入。可以通过讲话者编码器来提供目标讲话者的讲话者潜在空间信息。可以通过语言编码器来提供第二语言的语言潜在空间信息。可以通过声学特征预测器，基于所述文本输入、所述讲话者潜在空间信息和所述第二语言的语言潜在空间信息来生成至少一个声学特征。可以通过神经声码器，基于所述至少一个声学特征来生成与所述文本输入对应的语音波形。

应当注意，以上一个或多个方面包括以下详细描述以及权利要求中具体指出的特征。下面的说明书及附图详细提出了所述一个或多个方面的某些说明性特征。这些特征仅仅指示可以实施各个方面的原理的多种方式，并且本公开旨在包括所有这些方面和其等同变换。

附图说明

以下将结合附图描述所公开的多个方面，这些附图被提供用以说明而非限制所公开的多个方面。

图1示出了示例性的传统神经TTS系统。

图2示出了根据实施例的多语言神经TTS系统的示例性架构。

图3示出了根据实施例的讲话者编码器的示例性实现方式。

图4示出了根据实施例的讲话者嵌入生成器的示例性实现方式。

图5示出了根据实施例的语言编码器的示例性实现方式。

图6示出了根据实施例的语言嵌入生成器的示例性实现方式。

图7示出了根据实施例的多语言神经TTS系统的示例性实现方式。

图8示出了根据实施例的多语言神经TTS系统的示例性实现方式。

图9示出了根据实施例的声学特征预测器的示例性实现方式。

图10示出了根据实施例的神经声码器的示例性实现方式。

图11示出了根据实施例的训练多语言神经TTS系统的示例性过程。

图12示出了根据实施例的通过生成式对抗网络来训练声学特征预测器的示例性过程。

图13示出了根据实施例的针对新讲话者来更新多语言神经TTS系统的示例性过程。

图14示出了根据实施例的用于生成语音波形的示例性处理流程。

图15示出了根据实施例的用于通过多语言神经TTS合成来生成语音的示例性方法的流程图。